Deep Learning Note: 5-7 学习 Word Embedding
1. 学习 Word Embedding 学习 Word Embedding 的一个方法是训练一个语言模型。例如训练一个网络来预测句子中的下一个单词，如图 1 所示。 图 1 中单词下的数字为单词在词汇表中的索引，假设词汇表中有 10000 个单词。对于第一个词 $I$，其独热编码为 $O_{4343}$，使用一个 Embedding 矩阵 $E$ 与其相乘，得到 $I$ 的一个新的编码 …
Read more