[DL Note] 线性代数：特殊类型的矩阵和向量

Author: nex3z 2019-08-02

1. 对角矩阵

　　对角矩阵（diagonal matrix）是非对角线元素全是 $0$ 的方阵，例如 $n \times n$ 单位矩阵 $I_n$。使用 $\mathrm{diag}(\boldsymbol v)$ 表示对角元素为 $\boldsymbol v$ 的对角矩阵。

　　对角矩阵的乘法运算非常简单，$\mathrm{diag}(\boldsymbol v)\boldsymbol x$ 的结果是一个向量，其中第 $i$ 个元素是将 $x_i$ 放大 $v_i$ 倍的结果，即 $\mathrm{diag}(\boldsymbol v)\boldsymbol x = \boldsymbol v \odot \boldsymbol x$，其中 $\odot$ 表示逐元素乘积。

　　对角矩阵的逆的计算也很方便。对角矩阵的逆存在，当且仅当对角元素都是非零值，此时

$$\begin{equation} \begin{bmatrix} v_1 & 0 & \cdots & 0 \\ 0 & v_2 & \cdots & 0 \\ \vdots& \vdots& \ddots & \vdots \\ 0 & 0 & \cdots & v_n \end{bmatrix}^{-1} = \begin{bmatrix} \frac{1}{v_1} & 0 & \cdots & 0 \\ 0 & \frac{1}{v_2} & \cdots & 0 \\ \vdots& \vdots& \ddots & \vdots \\ 0 & 0 & \cdots & \frac{1}{v_n} \end{bmatrix} \tag{1} \end{equation}$$

　　对角矩阵不要求是方阵。长方形的矩阵也可能是对角矩阵，此时的乘法计算依旧高效。长方形的对角矩阵没有逆矩阵。

2. 对称矩阵

　　对称矩阵（symmetric matrix）是满足 $A^\mathsf{T} = A$ 的矩阵，即矩阵的转置和自己相等。这种矩阵是方阵，其主对角线元素是任意的，但其他元素在主对角线的两边成对出现。

　　对于某些不依赖参数顺序的双参数函数，其生成的元素往往会构成对称矩阵，例如计算两个点之间距离的函数不依赖两个点先后的顺序，矩阵 $\boldsymbol A$ 中的元素 $A_{i,j}$ 表示点 $i$ 到点 $j$ 之间的矩阵，则 $A_{i,j} = A_{j,i}$，$\boldsymbol A$ 式对称矩阵。

3. 单位向量

　　单位向量（unit vector）是具有单位范数的向量。对于单位向量 $\boldsymbol x$，有 $\Vert \boldsymbol x \Vert_2 = 1$。

　　如果 $\boldsymbol x^\mathsf{T} \boldsymbol y = 0$，则称向量 $\boldsymbol x$ 和向量 $\boldsymbol y$ 正交（orthogonal）。如果两个向量都是非零向量，则这两个向量间的夹角为 $90°$。在 $\mathbb{R}^n$ 中至多有 $n$ 个非零向量相互正交，如果这些正交的向量的范围都为 $1$，则称这些它们是标准正交的。

4. 正交矩阵

　　正交矩阵（orthogonal matrix）的行向量和列向量分别标准正交，对于正交矩阵 $\boldsymbol A$，有

$$\begin{equation} \boldsymbol A^\mathsf{T} \boldsymbol A = \boldsymbol A \boldsymbol A^\mathsf{T} = \boldsymbol I \tag{2} \end{equation}$$

即有

$$\begin{equation} \boldsymbol A^{-1} = \boldsymbol A^\mathsf{T} \tag{3} \end{equation}$$

可见计算正交矩阵的逆也非常方便，只需进行转置即可。