[ML Notes] 线性回归：最大似然

Author: nex3z 2020-08-07

  对如前文所述的线性模型

$$f(\boldsymbol{x}) = \boldsymbol{w}^\mathrm{T} \boldsymbol{x} \tag{1}$$

记第 $i$ 个样本为 $(\boldsymbol{x}^{(i)}, y^{(i)})$，假设有

$$y^{(i)} = \boldsymbol{w}^\mathrm{T} \boldsymbol{x}^{(i)} + \epsilon^{(i)} \tag{2}$$

其中 $\boldsymbol{w}^\mathrm{T} \boldsymbol{x}^{(i)}$ 为预测值；$\epsilon^{(i)}$ 为误差，体现了未包含在模型中的影响或随机噪声。假设所有的 $\epsilon^{(i)}$ 独立同分布，且 $\epsilon^{(i)} \sim \mathcal{N}(0, \sigma^2)$，即

$$p(\epsilon^{(i)}) = \frac{1}{\sqrt{2\pi}\sigma} \exp \bigg( -\frac{(\epsilon^{(i)})^2}{2\sigma^2} \bigg) \tag{3}$$

结合式 $(2)$，在参数 $\boldsymbol{w}$ 下给定 $\boldsymbol{x}^{(i)}$ 时 $y^{(i)}$ 的分布为

$$p(y^{(i)}|\boldsymbol{x}^{(i)};\boldsymbol{w}) = \frac{1}{\sqrt{2\pi}\sigma} \exp \bigg( -\frac{(y^{(i)} – \boldsymbol{w}^\mathrm{T} \boldsymbol{x}^{(i)})^2}{2\sigma^2} \bigg) \tag{4}$$

即有 $y^{(i)}|\boldsymbol{x}^{(i)};\boldsymbol{w} \sim \mathcal{N}(\boldsymbol{w}^\mathrm{T} \boldsymbol{x}^{(i)}, \sigma^2)$。

  似然函数

$$L(\boldsymbol{w}) = L(\boldsymbol{w}; X, \boldsymbol{y}) = p(\boldsymbol{y}|X; \boldsymbol{w})$$

结合式 $(4)$，有

$$\begin{aligned} L(\boldsymbol{w}) &= \prod_{i=1}^m p(y^{(i)}|\boldsymbol{x}^{(i)}; \boldsymbol{w}) \\ &= \prod_{i=1}^m \frac{1}{\sqrt{2\pi}\sigma} \exp \bigg( -\frac{(y^{(i)} – \boldsymbol{w}^\mathrm{T} \boldsymbol{x}^{(i)})^2}{2\sigma^2} \bigg) \end{aligned} \tag{5}$$

计算对数似然函数

$$\begin{aligned} l(\boldsymbol{w}) &= \log L(\boldsymbol{w}) \\ &= \log \prod_{i=1}^m \frac{1}{\sqrt{2\pi}\sigma} \exp \bigg( -\frac{(y^{(i)} – \boldsymbol{w}^\mathrm{T} \boldsymbol{x}^{(i)})^2}{2\sigma^2} \bigg) \\ &= \sum_{i=1}^m \log \frac{1}{\sqrt{2\pi}\sigma} \exp \bigg( -\frac{(y^{(i)} – \boldsymbol{w}^\mathrm{T} \boldsymbol{x}^{(i)})^2}{2\sigma^2} \bigg) \\ &= \sum_{i=1}^m \bigg( \log\frac{1}{\sqrt{2\pi}\sigma} – \frac{(y^{(i)} – \boldsymbol{w}^\mathrm{T} \boldsymbol{x}^{(i)})^2}{2\sigma^2} \bigg) \\ &= m\log\frac{1}{\sqrt{2\pi}\sigma} – \frac{1}{\sigma^2} \cdot \frac{1}{2} \sum_{i=1}^m (y^{(i)} – \boldsymbol{w}^\mathrm{T} \boldsymbol{x}^{(i)})^2 \end{aligned} \tag{6}$$

给定样本集，上式中第一项 $m\log\frac{1}{\sqrt{2\pi}\sigma}$ 和第二项的系数 $\frac{1}{\sigma^2}$ 为常数，最大化对数似然 $l(\boldsymbol{w})$ 等价于最小化 $\frac{1}{2} \sum\limits_{i=1}^m (y^{(i)} – \boldsymbol{w}^\mathrm{T} \boldsymbol{x}^{(i)})^2$，即前文式 $(3)$ 所示的最小二乘代价函数 $J(w)$

$$J(\boldsymbol{w}) =\frac{1}{2} \sum_{i=1}^m \big( y^{(i)} – f(\boldsymbol{x}^{(i)}) \big)^2$$