5x5卷积核可以用2个3x3卷积核替代的原因

原文链接:https://blog.csdn.net/bemy1008/article/details/84559905

在当今深度网络的发展趋势中,提升网络的宽度和深度已经是常规操作,能够解决过拟合的同时带来了大量参数的问题,所以减少计算参数也是必要的。在很多网络中,都使用了3个3x3卷积核来代替7x7卷积核,使用了2个3x3卷积核来代替5x5卷积核,这样做的主要目的是:(1)保证具有相同感知野的条件下,提升了网络的深度,在一定程度上提升了神经网络的效果;(2)减少计算参数量。

以下简单地说明一下小卷积(3*3)对于5×5网络感知野相同的替代性。

如图所示:
5x5卷积核可以用2个3x3卷积核替代的原因
直观计算参考:
https://blog.csdn.net/m0_37997973/article/details/82457911

接下来说明一下减少参数的作用。

对于两个3x3卷积核,所用的参数总量为2x(3x3)xchannels, 对于5x5卷积核为5x5xchannels, 因此可以显著地减少参数的数量,可以减少大约30%的参数数量。

                                </div>
            <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-e44c3c0e64.css" rel="stylesheet">
                </div>
上一篇:计应191(西)申振翔 口算题卡


下一篇:计应191西第5组李成帅