1:RNN layer的计算

 

【注】这里W的shape为[hidden len,feature len],hidden len意思是每句话的当前单词需要用多少个不同的W进行提取特征。feature len的意思是由于每个单词由feture len个特征表示，故每个不同的W的维度也必须是feature len。

[注]x:[seq len,batch, feature len]为h_t(t时刻的记忆单元)。seq len为时间序列也即是每句话的单词数量。

 

 

[注[记忆单元h的shape为[b,h_dim]，b表示batch表示多少句话，h_dim表示每句话用多少个记忆单元表示。

 [注]nn.RNN(pa1,pa2),pa1表示word dim也即是feature.pa2表示记忆单元的维度(hidden dim).