Tag Archive: Skip-Gram

Deep Learning Note: 5-7 学习 Word Embedding

1. 学习 Word Embedding   学习 Word Embedding 的一个方法是训练一个语言模型。例如训练一个网络来预测句子中的下一个单词,如图 1 所示。   图 1 中单词下的数字为单词在词汇表中的索引,假设词汇表中有 10000 个单词。对于第一个词 $I$,其独热编码为 $O_{4343}$,使用一个 Embedding 矩阵 $E$ 与其相乘,得到 $I$ 的一个新的编码 …
Read more