MTCNN试用

检测工作想借用MTCNN里的48-net,源码来自CongWeilin Git 下下来就能跑,真是良心

进入pepare_data准备好数据以后进入48-net,目录下有一个pythonLayer.py,由于loss函数是自定义的python层,所以train.sh里,第一行要把这个目录export到pythonpath

然后在train.sh第二行里配上自己的caffe编译路径,运行,报错找不到python层,查到是因为给的caffe路径不支持python层导致的,这是在caffe编译的时候没有选择 WITH_PYTHON_LAYER := 1

caffe路径选为py-faster-rcnn/caffe-fast-rcnn/build/tools/caffe 就可以了。

然后报错:

I0705 14:14:54.502411 18187 layer_factory.hpp:77] Creating layer PythonLayer48
F0705 14:14:54.995573 18187 solver_factory.hpp:67] Check failed: registry.count(type) == 0 (1 vs. 0) Solver type SGD already registered.

一个上午也没搞定。

最后下载blvc的caffe,选择WITH_PYTHON_LAYER=1重新编译就没问题。

然后会卡在regression_Layer那里,半个下午没搞定,最后把loss层直接改为caffe自带的欧式距离loss:

layer {
name: "RegressionLoss"
type: "EuclideanLoss"
bottom: "fc6-2"
bottom: "roi"
top: "RegressionLoss"
propagate_down: 1
propagate_down: 0
loss_weight: 1
}

终于可以训练了。

-------------20180709--------------

用caffe自带欧式距离loss还是不行,分类没问题,回归框基本没法看,返回自带python层里的regression_Layer,还是卡在这个regression_Layer的setup上,很诡异,data层和cls_brige层都能注册,就这个不行:

MTCNN试用

试过各种,改数据输入、改python层名字...都不行。看net.cpp Init()代码,看c++ vector _M_fill_insert()未果。

最后解决掉是在runcaffe.sh里添加blvc版caffe的python路径,看到这个,死马当活马医,试了试竟然就通过了......

export PYTHONPATH=/nfs/xxx/wkspace/caffe/python:$PYTHONPATH  #这样是可以的
export PYTHONPATH=$PYTHONPATH:/nfs/xxx/wkspace/caffe/python   #这样就不行

然后也遇到了回归loss NAN的问题,学习率多加一个0, lr=0.00001可以了。事实上,作者生成imdb代码有一处问题:

MTCNN试用

只有part这里是减128,而对positive和negative的处理都是:

MTCNN试用

全改成一致的,lr=0.0001, type="fixed",可以用。

然后,这是一个正确的输出log:

 I0709 15:09:24.636786 26765 solver.cpp:239] Iteration 27000 (15.9364 iter/s, 31.3747s/500 iters), loss = 0.00683111
I0709 15:09:24.637056 26765 solver.cpp:258] Train net output #0: ClassifyLoss = 0.0068324 (* 1 = 0.0068324 loss)
I0709 15:09:24.637082 26765 solver.cpp:258] Train net output #1: RegressionLoss = 0 (* 0.5 = 0 loss)
I0709 15:09:24.637099 26765 solver.cpp:258] Train net output #2: cls_Acc = 1
I0709 15:09:24.637115 26765 sgd_solver.cpp:112] Iteration 27000, lr = 0.0001
I0709 15:09:55.372771 26765 solver.cpp:239] Iteration 27500 (16.2685 iter/s, 30.7343s/500 iters), loss = 0.699202
I0709 15:09:55.372918 26765 solver.cpp:258] Train net output #0: ClassifyLoss = 0.693147 (* 1 = 0.693147 loss)
I0709 15:09:55.372941 26765 solver.cpp:258] Train net output #1: RegressionLoss = 0.0121121 (* 0.5 = 0.00605605 loss)
I0709 15:09:55.372956 26765 solver.cpp:258] Train net output #2: cls_Acc = 0
I0709 15:09:55.372972 26765 sgd_solver.cpp:112] Iteration 27500, lr = 0.0001
I0709 15:10:26.095998 26765 solver.cpp:239] Iteration 28000 (16.2752 iter/s, 30.7217s/500 iters), loss = 0.00408262
I0709 15:10:26.096397 26765 solver.cpp:258] Train net output #0: ClassifyLoss = 0.00408339 (* 1 = 0.00408339 loss)
I0709 15:10:26.096426 26765 solver.cpp:258] Train net output #1: RegressionLoss = 0 (* 0.5 = 0 loss)
I0709 15:10:26.096446 26765 solver.cpp:258] Train net output #2: cls_Acc = 1
I0709 15:10:26.096462 26765 sgd_solver.cpp:112] Iteration 28000, lr = 0.0001
I0709 15:10:57.990130 26765 solver.cpp:239] Iteration 28500 (15.6778 iter/s, 31.8923s/500 iters), loss = 0.699614
I0709 15:10:57.990347 26765 solver.cpp:258] Train net output #0: ClassifyLoss = 0.693147 (* 1 = 0.693147 loss)
I0709 15:10:57.990371 26765 solver.cpp:258] Train net output #1: RegressionLoss = 0.0129341 (* 0.5 = 0.00646706 loss)
I0709 15:10:57.990386 26765 solver.cpp:258] Train net output #2: cls_Acc = 0

训练分类网络的时候回归loss=0, 训练回归网络的时候分类loss=0.693(log(2)),表示分类概率=0.5

用自己训练的模型finetune报错:

MTCNN试用

开始的时候以为是因为pythonLayer里的batchsize设的和原来不一样了,改成一致,仍旧报错,然后发现是中间改过输入图片尺度,从48改成了128,又改成了48......

MTCNN试用

runcaffe.sh改成这样比较方便:

#!/bin/bash
set -e
set -x
EXEC_DIR="48net0" #这里等号前后不能加空格,否则会找不到
export PYTHONPATH=/nfs/xxx/wkspace/caffe/python:$PYTHONPATH
export PYTHONPATH=/nfs/xxx/wkspace/caffe/examples/mtcnn/${EXEC_DIR}:$PYTHONPATH
TOOLS=./build/tools
$TOOLS/caffe train \
--solver=examples/mtcnn/${EXEC_DIR}/solver.prototxt \
--weights=examples/mtcnn/48net-only-cls.caffemodel \
--gpu 0 2>&1 | tee examples/mtcnn/${EXEC_DIR}/`date +'%Y-%m-%d_%H-%M-%S'`.log #根据生成时间打log

-------------2018.07.25------------

用了小半个月以后发现这个版本的数据处理脚本坑还是挺多的,还是因为自己对框架图像算法什么的都不熟,每个坑都搞了很久。

1. 最严重的一个花了整整两天时间,图像输入的问题:

首先是训练出来的网络forward时各种不对,需要和pythonLayer.py里的处理方式同步一下,然后在c++里调用的时候又不对

因为caffe输入是n,c,h,w,opencv读入一张图是通道在后的,需要把通道提前,caffe mtcnn的pythonLayer.py里直接用:

im = np.swapaxes(im, , )

把通道换到前边了,这样送给caffe去训练的是一张放倒了的图像,那么模型训好,forward的时候也要同样放倒,在python里调的时候因为用了同样的方式没问题,后来在c++里就踩坑了,输出怎么也不对,最后是把像素一个个打印出来找到问题,c++里需要加一句转置:

 cv::transpose(img, img);

参考caffe2官方Tuorials,正确的方式应该是训练数据这样准备:

MTCNN试用

2. 内存问题:

pythonlayer.py里是一次性把所有训练图像都读入内存,训练时随机取一个batch,开了多卡训练以后总是莫名其妙的训练到一段时间就自己停掉了,tmux和nohup命令都一样,最后锁定到时内存爆了,改成训练时读入数据ok,128x128的输入,速度可以接受。

batchSize  图像读取方式 迭代时间
128   批量读入 6.7iters/s
128 训练时读入 3.2iters/s
512 批量读入 1.6iters/s
上一篇:华丽的HTML5/jQuery动画和应用 前端必备


下一篇:AC日记——大小写字母互换 openjudge 1.7 14