深度学习-链式求导

链式法则是微积分中的求导法则,用于求一个复合函数的导数
假设 abcdea,b,c,d,ea,b,c,d,e 存在下面的关系:

a+b=cb+1=dc×d=c a+b=c \\ b+1=d \\ c\times d=c a+b=cb+1=dc×d=c

假设
a=2b=1a=2,b=1a=2,b=1

那么
c=a+b=3d=b+1=2c=a+b=3\\d=b+1=2c=a+b=3d=b+1=2

逐级求导:
ca=1cb=1 \frac{\partial c}{\partial a}=1, \frac{\partial c}{\partial b}=1 ∂a∂c​=1,∂b∂c​=1

db=1 \frac{\partial d}{\partial b}=1 ∂b∂d​=1

ec=d=2ed=c=3 \frac{\partial e}{\partial c}=d=2, \frac{\partial e}{\partial d}=c=3 ∂c∂e​=d=2,∂d∂e​=c=3

图示如下:
深度学习-链式求导
链式求导:
ea=ecca=2×1=2 \frac{\partial e}{\partial a}=\frac{\partial e}{\partial c}\frac{\partial c}{\partial a}=2 \times 1=2 ∂a∂e​=∂c∂e​∂a∂c​=2×1=2

eb=eccb+eddb=2×1+3×1=5 \frac{\partial e}{\partial b}=\frac{\partial e}{\partial c}\frac{\partial c}{\partial b}+\frac{\partial e}{\partial d}\frac{\partial d}{\partial b}=2\times1+3\times1=5 ∂b∂e​=∂c∂e​∂b∂c​+∂d∂e​∂b∂d​=2×1+3×1=5

验证:
e=c×d=(a+b)×(b+1)=ab+b2+a+b \begin{aligned}e &=c\times d \\ &=(a+b)\times(b+1) \\ &=ab+b^2+a+b \end{aligned} e​=c×d=(a+b)×(b+1)=ab+b2+a+b​

ea=b+1=1+1=2 \frac{\partial e}{\partial a}=b+1=1+1=2 ∂a∂e​=b+1=1+1=2

eb=a+2b+1=2+2×1+1=5 \frac{\partial e}{\partial b}=a+2b+1=2+2\times 1+1=5 ∂b∂e​=a+2b+1=2+2×1+1=5

上一篇:Phonegap项目创建 编译 安装 运行


下一篇:酷我音乐API