Monthly Archive: 二月 2018

Deep Learning Note: 5-3 语言模型

1. 语言建模 1.1. 语言模型   考虑通过语音识别以下两个句子:   这两个句子的读音完全一样,如果一个人听到这样的句子,可以很自然地认为听到了第二句,而对于算法来说,需要通过语言模型来判断当前输入的语音到底对应了那一句话。语言模型是语音识别和机器翻译系统的核心组件,其作用是,给定一个句子,给出该句子是特定一句话的概率,即给出: \begin{equation} P(y^{}, y^{},&…
Read more

Deep Learning Note: 5-2 循环神经网络

1. 循环神经网络   图 1 展示了一个简单的循环神经网络的结构。   网络依次处理输入数据 $x$ 中的每个单词:首先处理第一个词 $x^{}$,将它输入到一层神经网络中,得到对 $x^{}$ 这个词的激活值 $a^{}$ 和预测值 $\hat{y}^{}$;然后处理第二个词 $x^{}$,将它和前一层的激活值 $a^{}$ 一起输入到一层神经网络中,得到对 $x^{}$ 这个词的激活值 $a…
Read more

Deep Learning Note: 5-1 序列模型

1. 序列模型   循环神经网络(Recurrent Neural Network)用于处理序列模型,常见的应用场景有: 语音识别(Speech Recognition):输入一段语音数据,输出语音内容的文本。输入和输出都是序列数据。 音乐生成(Music Generation):没有输入,或输入特定参数(如一个表示音乐风格的数字),输出一段音乐。只有输出是序列数据。 情感分类(Sentiment…
Read more