Deep Learning Note: 5-12 Attention 模型
前面介绍的机器翻译算法都使用了编码器-译码器的结构，通过编码器得到输入文本的一个编码，再通过译码器生成对应的翻译文本。这种结构对于较短的句子可以取得很高的 Bleu 分数，而在比较长的句子（如长度有三四十个单词的句子）上的性能则会下降，如图 1 所示，因为网络很难记忆这种很长的句子。 Neural Machine Translation by Jointly Learning to Ali…
Read more
Deep Learning Note: 5-11 Bleu 分数
机器翻译与之前介绍的图像识别等任务的一个不同之处是，正确答案不是唯一的。例如对于如下的法语句子： Le chat est sur le tapis. 人类可以给出多种不同的参考英文翻译，这些翻译的质量都很好，如： 参考 1：The cat is on the mat. 参考 2：There is a cat on the mat. 答案不唯一为衡量算法的准确度带来了挑战。对于此种情况，通常使用…
Read more