目录

2.1 基础知识

​2.2 复杂度学习率

1.复杂度

2.学习率

2.3 激活函数

1.sigmoid函数

2.tanh函数

3.relu函数

4.leaky-relu函数

2.4 损失函数

1.均方误差

2.自定义损失函数

​3.交叉熵损失函数 

4.softmax与交叉熵结合

2.5 缓解过拟合

正则化

2.6 优化器

1.SGD

2.SGDM 

3.Adagrad

4.RMSProp 

5.Adam

---

2.1 基础知识

 

2.2 复杂度学习率

1.复杂度

2.学习率

2.3 激活函数

1.sigmoid函数

易产生梯度消失，且输出非0均值，收敛较慢

2.tanh函数

存在梯度消失

3.relu函数

4.leaky-relu函数

总结： 

2.4 损失函数

即预测值与实际值之间的差值，神经网络的优化目标就是使损失函数最小        

1.均方误差

2.自定义损失函数

3.交叉熵损失函数 

 

4.softmax与交叉熵结合

 

2.5 缓解过拟合

 

正则化

 

2.6 优化器

一阶动量：与梯度相关的函数

二阶动量：与梯度平方相关的函数 

1.SGD

2.SGDM 

3.Adagrad

4.RMSProp 

5.Adam