作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客
本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120808864
目录
第1章 单个全连接神经元与卷积核神经元的结构比较
以第一个卷积层(28,28,64)和第一个全连接层1024为例。
1.1 全连接神经元
（1）一维向量模型
输入尺寸： （X) = (640)
全连接神经元：（X) = (640) # 与输入尺寸完全相同
输出尺寸： （X) =（1） # 固定尺寸1
（2）等效的三维全连接模型
输入尺寸： （X, Y, Z) = (5, 5, 64)
全连接神经元： （X, Y, Z) = (5, 5, 64） # 其尺寸与输入尺寸完全相同。
输出尺寸： （X) = 1 # 固定尺寸1，所有输入合并，所有通道合并
（3）等效的三维卷积核模型
输入尺寸： （X, Y, Z) = (5, 5, 64)
卷积核神经元：（X, Y, Z) = (5, 5)， # 卷积核尺寸与输入数据尺寸相同，64个通道被合并
输出尺寸： （X, Y) = (1, 1) # 固定尺寸1
备注：卷积核比全连接了通道维度，因此卷积实现全连接所需要的参数要少很多倍。
1.2 卷积核神经元（多维模型）
输入尺寸： （X, Y, Z) = (32, 32, 3)
卷积核神经元：(X, Y) = (5, 5） # 其尺寸远远小于输入尺寸, 3个通道被合并
输出尺寸： （X, Y) = (28, 28) # 由卷积核尺寸、输入尺寸、移动步长、填充尺寸调整。
第2章 全连接网络与卷积网络的结构比较
2.1 全连接网络
（1）一维向量模型
输入尺寸： （X) = (640)
单全连接神经元:（X) = (640) # 与输入尺寸完全相同
单神经元输出： (X) = (1)
全连接网络： (X, Y) = (640, 1024) # X维度与输入相同，Y维度与输出相同
输出尺寸： （X) = (1024) # 尺寸与神经元的个数相同
（2）三维扩展模型
输入尺寸： （X) = (5, 5, 64)
单全连接神经元:（X) = (5, 5, 64) # 与输入尺寸完全相同
单神经元输出： (X) = (1) # 所有输入合并，所有通道合并
全连接网络： (X, Y) = (640, 1024) # X维度与输入相同，Y维度与输出相同
输出尺寸： （X) = (1024) # 尺寸与神经元的个数相同
（3）卷积等效网络
输入尺寸： (X) = (5, 5, 64)
卷积核神经元: （X) = (5, 5) # 与输入尺寸必须完全相同，步长为1
卷积核输出： (X) = (1, 1) # 64个通道合并
卷积网络： (X, Y, Z) = (5，5, 1024) # X维度与输入相同，Y维度与输出相同
输出尺寸： （X, Y) = (1, 1, 1024) # 尺寸与神经元的个数相同
备注：卷积网络要比全连接网络少很多倍的参数。
2.2 卷积核网络
输入尺寸： （X, Y, Z) = (32, 32, 3)
卷积核尺寸： （X, Y） = (2, 2）
卷积核输出尺寸： （X, Y） = (28, 28) # 取决于迭代步长、卷积核尺寸，输入尺寸
卷积核网络尺寸: (X, Y, Z ) = (2, 2, 64) # 其中（n-X, n-Y) 远远小于（i-X, i-Y），（n-Z)与输出支持相同
卷积网络输出尺寸: （X, Y, Z) = (28, 28, 64) #取决于迭代步长、卷积核尺寸，输入尺寸, 卷积核个数
2.3 卷积+全连接网络
第3章 全连接网络与卷积网络的性能比较
| 比较 | 全连接网 | 卷积网络 |
| 拟合程度 | 容易过拟合 | 容易欠拟合 |
| 神经元参数个数 | 与输入数据尺寸一致 | 非常小，卷积核的大小 |
| 单个运算量 | 取决于输入数据的尺寸 | 取决于输出数据的尺寸 |
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客
本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120808864