Tag Archive: Word Embedding

Deep Learning Note: 5-8 Word Embedding 的应用

1. 情感分类   情感分类(Sentiment Classification)指的是根据一段文本,预测作者是否喜爱文中所讨论的事物。对于情感分类任务,我们可能无法获得大量的训练数据,比如总共只有 1 万到 10 万个单词,但通过 Word Embedding,我们使用不多的数据就可以构建一个很好的情感分类器。   例如使用顾客对一家餐厅的评价来预测顾客对该餐厅的喜爱程度,输入的 $x$ 是顾客的…
Read more

Deep Learning Note: 5-7 学习 Word Embedding

1. 学习 Word Embedding   学习 Word Embedding 的一个方法是训练一个语言模型。例如训练一个网络来预测句子中的下一个单词,如图 1 所示。   图 1 中单词下的数字为单词在词汇表中的索引,假设词汇表中有 10000 个单词。对于第一个词 $I$,其独热编码为 $O_{4343}$,使用一个 Embedding 矩阵 $E$ 与其相乘,得到 $I$ 的一个新的编码 …
Read more

Deep Learning Note: 5-6 Word Embedding 介绍

1. 单词的表示方法   前面在介绍 RNN 时,使用词汇表对单词进行独热编码(One-Hot Encoding)来表示单词。例如使用一个有 10000 个词的词汇表 $V = [a, aaron, …, zulu, \lt UNK \gt]$ 对单词进行编码,则每个单词都会被编码为一个长度为 10000 的向量,其中位置与单词在词汇表中位置相同的项值为 1,其余位置的值为 0,图 1…
Read more