总结自acl2019最佳长论文《Bridging the Gap between Training and Inference for Neural Machine Translation》

 

背景：

在训练神经翻译模型的时候，实际译文被用作上下文。在使用神经翻译模型推理时，整个序列是由结果模型自己生成的，因此由模型生成的前一个单词作为上下文提供。因此，训练和推理时的预测词是从不同的分布中提取的，即从数据分布中提取，而不是从模型分布中提取。这种差异被称为暴露偏差，导致了训练和推断之间的差距。随着目标序列的增长，误差在序列之间积累，模型必须在训练时从未遇到过的条件下进行预测。直观地说，为了解决这个问题，模型应该在它在推理时所面临的相同条件下进行预测训练。

数据准备：

在数据集中，原序列表示为，实际译文表示为

编码器：

用e_i表示x_i的嵌入向量 ，用一个双向的GRU来得到两个隐状态序列，

添加注意力：

计算目标单词y^*_j和第i个原单词的相关系数

  

解码器：

计算目标隐状态

计算目标单词的概率分布

其中g是一个线性变换

主要方法框架：

作为上下文输入的单词有两种选择：实际单词（原文是ground truth word，gtw）或之前预测的单词（称为oracle word，ow），两种单词是以概率p随机选择的

方法包含以下3个部分：

1. 选择ow

2. 以概率p选择实际单词或以概率1-p选择ow

3. 将选择的单词带入6,7式预测下一个单词

选择ow：

选择ow的方式有两种：句子级ow和单词级ow

1. 单词级ow

计算各ow候选词的概率，选出概率最大的一个

 

2. 句子级ow

1）在每个batch的所有句子上进行beam查找，得到k个最佳翻译结果

2）在查找过程中添加Gumbel噪声

3）采用BLEU句子级度量来评估翻译结果，选择得分最高的作为oracle句子（os），记为

 

句子级ow可以从os中对应位置选出

  

强制编码：

句子级ow的一个问题是无法保证和实际译文等长，这样不能进行BLEU评分，因此需要采用某种方法使os与实际译文等长，做法如下：

1）如果产生译文的过程中<EOS>为下一单词的概率最大且此时译文长度小于实际的，则跳过<EOS>选择第二个单词

2）如果产生译文的过程译文长度超过了实际的但<EOS>还不是下一单词的概率最大的，则直接选择<EOS>作为下一单词

衰减采样：

对于之前提到的选择实际单词还是ow作为上下文输入的概率p，应有以下特征：

1）在训练初期，为了避免收敛慢或陷入局部收敛，应尽量选择实际单词作为输入

2）在训练后期，为了模拟推理时遇到的情况，应尽量选择ow作为单词输入

因此，可以这样选择p，其中e是训练轮次，mu是超参数

 

训练：

选出y_j-1后，就可以根据6,7,8,9式推算出y_j，损失函数如下

N是数据集中句子的数量，|y_n|是第n个实际句子的长度，Pⁿ_j是第j步中预测的第n个句子的概率分布，Pⁿ_j[yⁿ_j]是第j步生成实际单词的概率