[DL Note] 线性代数:Moore-Penrose 伪逆

  具有 $n$ 个未知数的 $m$ 个方程组成的线性方程组可以写成

\begin{equation}
\boldsymbol A \boldsymbol x = \boldsymbol y \tag{1}
\end{equation}

其中 $\boldsymbol A$ 是 $m \times n$ 矩阵。我们希望通过 $\boldsymbol A$ 的左逆 $\boldsymbol B$ 来求解式 $(1)$。在式 $(1)$ 等号两边同乘以 $\boldsymbol B$,得到

\begin{equation}
\boldsymbol x = \boldsymbol B \boldsymbol y \tag{2}
\end{equation}

如果 $m \neq n$,即 $\boldsymbol A$ 不是方阵,则 $\boldsymbol A$ 的逆没有定义。如果 $m > n$,则式 $(1)$ 可能没有解;如果 $m < n$,则式 $(1)$ 可能有多个解。

  当 $\boldsymbol A$ 没有逆时,要求解式 $(1)$ 所示的方程,则引入伪逆的概念。Moore-Penrose 伪逆(Moore-Penrose pseudoinverse)定义为

\begin{equation}
\boldsymbol A^+ = \lim_{\alpha \rightarrow 0} (\boldsymbol A^\mathsf{T} \boldsymbol A + \alpha \boldsymbol I)^{-1} \boldsymbol A^\mathsf{T} \tag{3}
\end{equation}

实际计算伪逆时,则使用如下的方法

\begin{equation}
\boldsymbol A^+ = \boldsymbol V \boldsymbol D^+ \boldsymbol U^\mathsf{T} \tag{4}
\end{equation}

其中 $\boldsymbol V$、$\boldsymbol D$、$\boldsymbol U$ 是对 $\boldsymbol A$ 进行奇异值分解后得到的矩阵。$\boldsymbol D^+$ 是 $\boldsymbol D$ 的伪逆,是由 $\boldsymbol D$ 的非零元素取倒数后再转置得到的。

  对于式 $(1)$ 中的 $m \times n$ 矩阵 $\boldsymbol A$,当 $m > n$ 时,使用伪逆得到的解是众多解中的一种,特殊地,$\boldsymbol x = \boldsymbol A^+ \boldsymbol y$ 式方程所有可能解中欧几里得范数($\Vert \boldsymbol x \Vert$_2)最小的一个。当 $m < n$ 时,方程可能没有解,通过伪逆得到的解使得 $\boldsymbol A \boldsymbol x$ 到 $\boldsymbol y$ 的欧氏距离 $\Vert \boldsymbol A \boldsymbol x – \boldsymbol y\Vert$ 最小。