pytorch学习笔记(10)

增加层的缺陷:

        模型想取得更高的正确率,一种显然的思路就是给模型添加更多的层。随着层数的增加,模型的准确率得到提升,然后过拟合;这时再增加更多的层,准确率会开始下降。在到达一定深度后加入更多层,模型可能产生梯度消失或爆炸问题可以通过更好的初始化权重、添加BN层等解决现代架构,试图通过引入不同的技术来解决这些问题,如残差连接。


上一篇:Pytorch的BatchNorm见解


下一篇:深度学习中的 BN (batchNormalization)理解