BN-Inception算法的架构详解

DL之BN-Inception：BN-Inception算法的架构详解https://yunyaniu.blog.csdn.net/article/details/97933086

0、BN算法是如何加快训练和收敛速度的呢？

Batch Normalization有两个功能，一个是可以加快训练和收敛速度，另外一个是可以防止过拟合。

        BN算法在实际使用的时候，会把特征给强制性的归到均值为0，方差为1的数学模型下。深度网络在训练的过程中，如果每层的数据分布都不一样的话，将会导致网络非常难收敛和训练，而如果能把每层的数据转换到均值为0，方差为1的状态下，一方面，数据的分布是相同的，训练会比较容易收敛；另一方面，均值为0，方差为1的状态下，在梯度计算时会产生比较大的梯度值，可以加快参数的训练，更直观的来说，是把数据从饱和区直接拉到非饱和区。更进一步，这也可以很好的控制梯度爆炸和梯度消失现象，因为这两种现象都和梯度有关。

1、BN-Inception网​络—核心组件

Batch Normalization（批归一化）。意义，目前BN已经成为几乎所有卷积神经网络的标配技巧。

5x5卷积核→2个3x3卷积核。相同的感受野

5、实验结果比对

        在提供的包含50000个图像的验证集上，与以前的最新技术进行批量标准化初始比较。*根据测试服务器的报告，在ImageNet测试集的100000张图像上，BN初始集成已达到4.82% top-5。

        其中BN-Inception Ensemble，则采用多个网络模型集成学习后得到的结果。

BN-Inception算法的案例应用

TF之DD：实现输出Inception模型内的某个卷积层或者所有卷积层的形状https://yunyaniu.blog.csdn.net/article/details/82850641

TF之DD：利用Inception模型+GD算法生成原始的Deep Dream图片https://yunyaniu.blog.csdn.net/article/details/82851491

TF之DD：利用Inception模型+GD算法生成更大尺寸的Deep Dream精美图片https://yunyaniu.blog.csdn.net/article/details/82856773

TF之DD：利用Inception模型+GD算法生成更高质量的Deep Dream高质量图片https://yunyaniu.blog.csdn.net/article/details/82860720

TF之DD：利用Inception模型+GD算法——五个架构设计思路https://yunyaniu.blog.csdn.net/article/details/82861982

TF之DD：利用Inception模型+GD算法生成带背景的大尺寸、高质量的Deep Dream图片https://yunyaniu.blog.csdn.net/article/details/82864576