《Adaptive Density Map Generation for Crowd Counting》密集人群检测论文笔记

背景

密度图\(D_g\)的生成对于最终网络预测结果\(D_e\)至关重要,但是密度图\(D_g\)生成的过程中,高斯核的大小常常是手动设定的,并且对于不同的数据集,核大小和形状通常不一样。这些手动选择的参数,对网络来说可能不是最优的。

本文贡献

验证手动选择的高斯核不是最优的

为了验证手动选择的高斯核不是最优的,作者设计了一个Density Map Refinement网络,如下
《Adaptive Density Map Generation for Crowd Counting》密集人群检测论文笔记
下半部分是一个Refiner网络,将手动生成的密度图\(D_g\)进行refine,生成更为精细的密度图\(D_{g'}\),作为上半部分Counter网络的回归目标。上半部分的网络为正常的预测密度图\(D_e\)的网络。将原有的密度图\(D_g\)Refine后,可以看到,网络的效果确实提升了,证实了作者观点。
《Adaptive Density Map Generation for Crowd Counting》密集人群检测论文笔记

提出了一个自适应生成密度图的方法

尽管前面提出的Refiner网络能够提升网络精度,但是仍然依赖于前期手动选择参数生成的密度图\(D_g\)。为了克服这个弊端,作者设计了一个自适应生成密度图\(D_g\)的网络,如下
《Adaptive Density Map Generation for Crowd Counting》密集人群检测论文笔记
第一行与前面提到的网络没有什么区别,主要改动是将下面的Refiner网络改成了自适应生成密度图的网络。首先,预先给定K个高斯核,与标注的点图作用生成K个密度图\(B_i\),然后每个密度图经过self-attention网络,生成对应的attention map,将attention map和对应的\(B_i\)按像素相乘,就能够自适应地选择输入图片每个区域使用哪种核,最后一起送入fusion模块进行融合,就得到了密度图\(D_g\),与第一行的Counter网络一起,完成整个网络的训练。
下图是使用后的效果
《Adaptive Density Map Generation for Crowd Counting》密集人群检测论文笔记
这里有一点要说明,作者尝试了不预先设定K个高斯核的参数,改为网络自适应学习高斯核参数,发现效果均不如固定设置的
《Adaptive Density Map Generation for Crowd Counting》密集人群检测论文笔记
其中global loss, spatial loss, hard norm是自适应网络在不同loss下的表现,高斯核途中,第一行表示固定高斯核参数,第二三行表示不同loss下学得的高斯核形状

上一篇:Oracle导出空表数据库


下一篇:VTK-图像切面提取