深度学习中,使用regularization正则化(weight_decay)的好处,loss=nan

刚开始训练一个模型,自己就直接用了,而且感觉训练的数据量也挺大的,因此就没有使用正则化,

可能用的少的原因,我也就不用了,后面,训练到一定程度,accuracy不上升,loss不下降,老是出现loss=nan,输出的结果也就直接不预测,比如

训练二分类器,直接判断固定为某一类别(比如固定输出为正类),这就使得准确率为0.5,阿呀呀,怎么办,不工作哦????

后面想,训练崩了会不会是learning_rate太大了,这时候我就改小learning_rate,同样的事情继续发生,只不过能维持迭代次数变多了。。

但是,对于“accuracy不上升,loss不下降”现象依旧是存在。这时候我就想呀,要想accuracy,loss变化(哪怕是变坏也好呀,总比基本不变强)

那weight 肯定变化呀,我就把regularization_loss给打印出来,发现regularization_loss,也不变化,这样说明我的算法存粹是在局部极小值那边

转悠,还亏我傻呆呆地看accuracy,loss log,还傻逼地调小learning_rate(regularization_loss变化都很小,说明learning_rat太小啦),

然后,毅然决然的添加了loss_total = classification_loss + regularization_loss,当是参数是这样的

learning_rate = 0.0000001

weight_decay = 0.0001

classification_loss = 60-70

regularization_loss = 5,

我适当增加了比例,weight_decay = 0.0003,增大了learning_rate=0.0001(大胆把,目的是要让权值动起来,太小几乎不动了)

classification_loss = 60-70

regularization_loss = old_regularization_loss *3 =15

good!!!

accuracy上升,loss开始下降(当然这时候的loss当然和之前的不一样,加了egularization_loss,但是下降趋势又回来了)

当然,后面accuracy上升到90%,又出现loss=nan,这时候

增加weight_decay = 0.0003,减小learning_rate=0.00002

哇塞,accuracy又开始上升啦。

总结,其实,当没有使用regularization,的时候,网络训练只是通过classification_loss,改变权值,这是后梯度下降的通道

只有一个,当到达一定效果时,就jj了,不能用了。增加regularization,使得改变了整个模型的梯度,跳出了局部极值的怪圈,

使得整个函数目标函数分布改变了。赞赞赞!!!从这个经验来说真好用。

不过,也不是随便用,要看classification_loss 多少? regularization_loss?,连个量的比值多少,这里我发现比值在

3:1,到5:1左右效果不错,比如

weight_decay = 0.0001

classification_loss = 60-70

regularization_loss = 5,

取3:1,那regularization_loss 要等于60/3=20,则和以前的相比要增大20/5=4倍,所以,参数改为

weight_decay = 0.0004

classification_loss = 60-70

regularization_loss = 5*4=20,这时候

accuracy上升了吧,loss开始下降了吧。

当然事不绝对!!!

附:

regularization_loss 的作用是不让某一权很大,并调节其他权值,使得所有权值都相差在一定范围,使得各个神经元都能充分使用(个人观点)。

有时需要交叉训练,比如一会儿让classification_loss做主导(learning_rate大,weight_decay小),有时则反过来,有时都小。

上一篇:orm 扩展


下一篇:edu9E. Thief in a Shop