学习笔记_卷积神经网络

卷积神经网络

一、绪论

1.卷积神经网络的应用

无处不在的卷积神经网络

基本应用

分类 检索 检测 分割

人脸识别(face recognition)

人物表情识别

图像生成

图像风格转化

自动驾驶

2.传统神经网络vs卷积神经网络

深度学习三部曲

Step1:

Neural Network(搭建神经网络结构)

Step2:

Cost Function(找到一个合适的损失函数)

交叉熵损失(cross entropy loss), 均方误差(MSE)

Step3:

Optimization(找到一个合适的优化函数,更新参数)

反向传播BP

随机梯度下降(SGD)

损失函数的相关概念

 学习笔记_卷积神经网络

 

 

 

传统神经网络可以应用在计算机视觉上,为什么还需要卷积神经网络?

全连接网络处理图像的问题

参数过多:权重矩阵的参数太多->过拟合

(过拟合出现的现象:例如要让机器识别出狗,但是由于测试数据大量都是同一种狗的图片,这样机器就很有可能无法识别出来)

卷积神经网络的解决方法:

局部关联,参数共享

(参数共享可以降低参数量,使得模型更好训练)

相同之处:

 学习笔记_卷积神经网络

 

 

 

 

二、基本组成结构

  1. 卷积

一维卷积

一维卷积经常用在信号处理中,用于计算信号的延迟累积

假设一个信号发生器在时刻t发出一个信号xt,其信号的衰减率为fk,即在k-1个时间步长后,信息衰减为原来的fk倍

 学习笔记_卷积神经网络

 

 

 

卷积是什么?

卷积是对两个实变函数的一种数学操作。

在图像处理中,图像是以二维矩阵的形式输入到神经网络的,因此我们需要二维卷积

 学习笔记_卷积神经网络

 

 

 

涉及到的基本概念:

Input:输入

Kernel/filter:卷积核/滤波器

Weights:权重

Receptive field:感受野

Activation map:特征图

Padding

Depth/channel:深度

Output:输出

 

 

学习笔记_卷积神经网络

学习笔记_卷积神经网络

Padding通过补零实现卷积

 学习笔记_卷积神经网络

 

 学习笔记_卷积神经网络

 

 学习笔记_卷积神经网络

 

 

卷积的可视化理解

不同的卷积核关注不同的信息

  1. 池化

保留了主要特征的同时减少参数和计算量,防止过拟合,提高模型泛化能力。

它一般处于卷积层与卷积层之间,全连接层与全连接层之间

Pooling的类型:
Max pooling:最大值池化

Average pooling:平均池化

 学习笔记_卷积神经网络

 

 

 

  1. 全连接

 学习笔记_卷积神经网络

 

 

全连接/FC layer:

两层之间所有神经元都有权重链接

通常全连接层在卷积神经网络尾部

全连接层参数量通常最大

小结:

  1. 一个典型的卷积网络是由卷积层、池化层、全连接层交叉堆叠而成
  2. 卷积是对两个实变函数的一种数学操作
  3. 局部关联,参数共享
  4. 未加padding时输出的特征图大小:(N-F)/stride + 1
  5. 有padding时输出的特征图大小:(N+padding*2-F)/stride+1
  6. Pooling的类型:Max pooling:最大值池化,Average pooling:平均池化
  7. 全连接:通常全连接层在卷积神经网络尾部

 

三、卷积神经网络典型结构

  1. AlexNet

 学习笔记_卷积神经网络

 

 

 

卷积神经网络典型结构——AlexNet

 学习笔记_卷积神经网络

 

 

Alex之所以成功,原因在于:

大数据训练:百万级ImageNet图像数据

非线性激活函数:ReLU

防止过拟合:Dropout, Data augmentation

其他:双GPU实现

 学习笔记_卷积神经网络

 

 

优点:

解决了梯度消失的问题(在正区间)

计算速度特别快,只需要判断输入是否大于0

收敛速度远快于sigmoid

 

DropOut(随机失活)

训练时随机关闭部分神经元,测试时整合所有神经元

隐式的模型集成

 

数据增强(data augmentation)

平移、翻转、对称

随机crop。训练时候,对于256*256的图片进行随机crop到224*224

 学习笔记_卷积神经网络

 

 

AlexNet分层解析

第一次卷积:卷积——ReLU——池化

 

第二次卷积:卷积——ReLU——池化

 

第三次卷积:卷积——ReLU

 

第四次卷积:卷积——ReLU

 

第五次卷积:卷积——ReLU——池化

 

第六层:全连接——ReLU——DropOut

 

第七层:全连接——ReLU——DropOut

 

第八层:全连接——SoftMax

 学习笔记_卷积神经网络

 

 

  1. ZFNet

网格结构与AlexNet相同

将卷积层1中的感受野大小由11 X 11 改成 7 X 7,步长由4改为

卷积层3、4、5中的滤波器由384,384,256改成512,512,1024

  1. VGG

VGG是一个更深网络

8 layers(AlexNet) -> 16——19(VGG)

ILSVRC TOP 5

先训练前11层,将参数固定住再训练后面的

 学习笔记_卷积神经网络

 

 学习笔记_卷积神经网络

 

 

 

 

  1. GoogleNet

网络总体结构:网络包含22个带参数的层(如果考虑pooling层就是27层),独立成块的层总共由约有100个

参数量大概是AlexNet的1/12

没有FC层

Native Inception

 学习笔记_卷积神经网络

 

 

计算复杂度过大

 

Inception V2

 学习笔记_卷积神经网络

 

 学习笔记_卷积神经网络

 

 

 

Inception V3

 学习笔记_卷积神经网络

 

 

降低参数量

增加非线性激活函数:增加非线性激活函数使网络产生更多独特特,表征能力更强,训练更快

 学习笔记_卷积神经网络

 

 

Stem部分(Stem network)

卷积——池化——卷积——卷积——池化

多个Inception堆叠

输出:没有额外的全连接层(除了最后的类别输出层)

辅助分类器:解决由于模型深度过深导致的梯度消失的问题

  1. ResNet

残差学习网络(deep residual learning network)

2015年ILSVRC竞赛关键,top5错误了从6.7%->3.57%

深度有152层

 学习笔记_卷积神经网络

 

 学习笔记_卷积神经网络

 

 

 

残差思想:去掉相同的主体部分,从而突出微小的变化

可以用于训练非常深的网络

 

 

 

 

 

参考文献

学习笔记_卷积神经网络

 

上一篇:【42】残差网络


下一篇:nnU-Net