[DL Note] 线性代数：Moore-Penrose 伪逆

Author: nex3z 2019-08-03

　　具有 $n$ 个未知数的 $m$ 个方程组成的线性方程组可以写成

$$\begin{equation} \boldsymbol A \boldsymbol x = \boldsymbol y \tag{1} \end{equation}$$

其中 $\boldsymbol A$ 是 $m \times n$ 矩阵。我们希望通过 $\boldsymbol A$ 的左逆 $\boldsymbol B$ 来求解式 $(1)$。在式 $(1)$ 等号两边同乘以 $\boldsymbol B$，得到

$$\begin{equation} \boldsymbol x = \boldsymbol B \boldsymbol y \tag{2} \end{equation}$$

如果 $m \neq n$，即 $\boldsymbol A$ 不是方阵，则 $\boldsymbol A$ 的逆没有定义。如果 $m > n$，则式 $(1)$ 可能没有解；如果 $m < n$，则式 $(1)$ 可能有多个解。

　　当 $\boldsymbol A$ 没有逆时，要求解式 $(1)$ 所示的方程，则引入伪逆的概念。Moore-Penrose 伪逆（Moore-Penrose pseudoinverse）定义为

$$\begin{equation} \boldsymbol A^+ = \lim_{\alpha \rightarrow 0} (\boldsymbol A^\mathsf{T} \boldsymbol A + \alpha \boldsymbol I)^{-1} \boldsymbol A^\mathsf{T} \tag{3} \end{equation}$$

实际计算伪逆时，则使用如下的方法

$$\begin{equation} \boldsymbol A^+ = \boldsymbol V \boldsymbol D^+ \boldsymbol U^\mathsf{T} \tag{4} \end{equation}$$

其中 $\boldsymbol V$、$\boldsymbol D$、$\boldsymbol U$ 是对 $\boldsymbol A$ 进行奇异值分解后得到的矩阵。$\boldsymbol D^+$ 是 $\boldsymbol D$ 的伪逆，是由 $\boldsymbol D$ 的非零元素取倒数后再转置得到的。

　　对于式 $(1)$ 中的 $m \times n$ 矩阵 $\boldsymbol A$，当 $m > n$ 时，使用伪逆得到的解是众多解中的一种，特殊地，$\boldsymbol x = \boldsymbol A^+ \boldsymbol y$ 式方程所有可能解中欧几里得范数（$\Vert \boldsymbol x \Vert_2$）最小的一个。当 $m < n$ 时，方程可能没有解，通过伪逆得到的解使得 $\boldsymbol A \boldsymbol x$ 到 $\boldsymbol y$ 的欧氏距离 $\Vert \boldsymbol A \boldsymbol x – \boldsymbol y\Vert$ 最小。