[ML Notes] Logistic 回归

Author: nex3z 2020-08-13

1. 基本模型

  Logistic 回归的基本形式为

$$f(\boldsymbol{x}) = g(\boldsymbol{w}^\mathrm{T} \boldsymbol{x}) = \frac{1}{1 + e^{-\boldsymbol{w}^\mathrm{T} \boldsymbol{x}}} \tag{1}$$

其中 $\boldsymbol{w}$ 为参数向量，$\boldsymbol{x}$ 为特征向量

$$\boldsymbol{w} = \begin{bmatrix} w_0 \\ w_1 \\ w_2 \\ \vdots \\ w_n \end{bmatrix} , \; \boldsymbol{x} = \begin{bmatrix} 1 \\ x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}$$

  $f(\boldsymbol{x})$ 为预测样本为正例的概率，即

$$P(y = 1|\boldsymbol{x};\boldsymbol{w}) = f(\boldsymbol{x}) \tag{2}$$

$$P(y = 0|\boldsymbol{x};\boldsymbol{w}) = 1 – f(\boldsymbol{x}) \tag{3}$$

上面两式可以写为

$$P(y|\boldsymbol{x};\boldsymbol{w}) = \big(f(\boldsymbol{x})\big)^y \big(1 – f(\boldsymbol{x})\big)^{(1 – y)} \tag{4}$$

  此外，由式 $(1)$ 可以解得

$$\boldsymbol{w}^\mathrm{T} \boldsymbol{x} = \log \frac{f(\boldsymbol{x})}{1 – f(\boldsymbol{x})} = \log \frac{P(y = 1|\boldsymbol{x};\boldsymbol{w})}{P(y = 0|\boldsymbol{x};\boldsymbol{w})}$$

故 $\boldsymbol{w}^\mathrm{T} \boldsymbol{x}$ 可以看成是对 $y = 1|\boldsymbol{x}$ 这一事件发生的对数几率的线性回归。

2. Sigmoid 函数

  式 $(1)$ 中的 $g(z)$ 为 Sigmoid 函数

$$g(z) = \frac{1}{1 + e^{-z}} \tag{5}$$

其图像如图 1 所示。

  计算 $g(z)$ 的导数为

$$\begin{aligned} g'(z) &= -\frac{1}{(1 + e^{-z})^2} (-e^{-z}) \\ &= \frac{1}{1 + e^{-z}} \cdot \frac{e^{-z}}{1 + e^{-z}} \\ &= \frac{1}{1 + e^{-z}} \bigg( 1 – \frac{1}{1 + e^{-z}} \bigg) \\ &= g(z) \big(1 – g(z)\big) \end{aligned} \tag{6}$$

3. 最大似然估计

  由式 $(4)$，可以得到似然函数

$$\begin{aligned} L(\boldsymbol{w}) &= p(\boldsymbol{y}|X; \boldsymbol{w}) \\ &= \prod_{i=1}^m p(y^{(i)}|\boldsymbol{x}^{(i)}; \boldsymbol{w}) \\ &= \prod_{i=1}^m \big(f(\boldsymbol{x}^{(i)})\big)^{y^{(i)}} \big(1 – f(\boldsymbol{x}^{(i)})\big)^{(1 – y^{(i)})} \end{aligned} \tag{7}$$

其中 $\boldsymbol{x}^{(i)}$ 和 $y^{(i)}$ 分别为第 $i$ 个样本的特征和标签，$m$ 为样本总数。

  对数似然函数为

$$\begin{aligned} l(\boldsymbol{w}) &= \log L(\boldsymbol{w}) \\ &= \sum_{i=1}^m y^{(i)} \log f(\boldsymbol{x}^{(i)}) + (1 – y^{(i)}) \log \big(1 – f(\boldsymbol{x}^{(i)})\big) \end{aligned} \tag{8}$$

最大化对数似然函数即可得到最优的参数 $\boldsymbol{w}$。

4. 梯度下降

  定义代价函数为负的对数似然函数，即

$$\begin{aligned} J(\boldsymbol{w}) = -l(\boldsymbol{w}) = – \sum_{i=1}^m y^{(i)} \log f(\boldsymbol{x}^{(i)}) + (1 – y^{(i)}) \log \big(1 – f(\boldsymbol{x}^{(i)})\big) \end{aligned} \tag{9}$$

则梯度下降最小化代价函数相当于最大化对数似然函数。此时单个样本 $(\boldsymbol{x}, y)$ 的损失函数

$$Loss(\boldsymbol{w}) = -\Big( y \log f(\boldsymbol{x}) + (1 – y) \log \big(1 – f(\boldsymbol{x})\big) \Big) \tag{10}$$

即为交叉熵。

  计算式 $(9)$ 关于第 $j$ 个参数 $\boldsymbol{w}_j$ 的偏导，对于单个样例 $(\boldsymbol{x}, y)$，有

$$\begin{aligned} \frac{\partial}{\partial \boldsymbol w_j} J(\boldsymbol{w}) &= -\bigg( \frac{y}{f(\boldsymbol{x})} – \frac{1-y}{1 – f(\boldsymbol{x})} \bigg) \frac{\partial}{\partial \boldsymbol w_j} f(\boldsymbol{x}) \\ &= -\bigg( \frac{y}{f(\boldsymbol{x})} – \frac{1-y}{1 – f(\boldsymbol{x})} \bigg) g(\boldsymbol{w}^\mathrm{T} \boldsymbol{x}) \big(1 – g(\boldsymbol{w}^\mathrm{T} \boldsymbol{x})\big) \frac{\partial}{\partial \boldsymbol w_j} \boldsymbol{w}^\mathrm{T} \boldsymbol{x} \\ &= -\bigg( \frac{y}{f(\boldsymbol{x})} – \frac{1-y}{1 – f(\boldsymbol{x})} \bigg) f(\boldsymbol{x}) \big(1 – f(\boldsymbol{x})\big) x_j \\ &= -\Big( y\big(1 – f(\boldsymbol{x})\big) – (1 – y) f(\boldsymbol{x}) \Big) x_j \\ &= -\big(y – f(\boldsymbol{x}) \big) x_j \end{aligned} \tag{11}$$

梯度下降的更新规则为

$$w_j := w_j – \alpha \frac{\partial}{\partial w_j} J(\boldsymbol{w})$$

即

$$w_j := w_j + \alpha \big(y^{(i)} – f(\boldsymbol{x}^{(i)}) \big) \boldsymbol{x}^{(i)}_j \tag{12}$$