[DL Note] 线性代数：特殊类型的矩阵和向量
1. 对角矩阵
对角矩阵（diagonal matrix）是非对角线元素全是 $0$ 的方阵，例如 $n \times n$ 单位矩阵 $I_n$。使用 $\mathrm{diag}(\boldsymbol v)$ 表示对角元素为 $\boldsymbol v$ 的对角矩阵。
对角矩阵的乘法运算非常简单，$\mathrm{diag}(\boldsymbol v)\boldsymbol x$ 的结果是一个向量，其中第 $i$ 个元素是将 $x_i$ 放大 $v_i$ 倍的结果，即 $\mathrm{diag}(\boldsymbol v)\boldsymbol x = \boldsymbol v \odot \boldsymbol x$，其中 $\odot$ 表示逐元素乘积。
对角矩阵的逆的计算也很方便。对角矩阵的逆存在，当且仅当对角元素都是非零值，此时
\begin{equation}
\begin{bmatrix}
v_1 & 0 & \cdots & 0 \\
0 & v_2 & \cdots & 0 \\
\vdots& \vdots& \ddots & \vdots \\
0 & 0 & \cdots & v_n
\end{bmatrix}^{-1} =
\begin{bmatrix}
\frac{1}{v_1} & 0 & \cdots & 0 \\
0 & \frac{1}{v_2} & \cdots & 0 \\
\vdots& \vdots& \ddots & \vdots \\
0 & 0 & \cdots & \frac{1}{v_n}
\end{bmatrix} \tag{1}
\end{equation}
对角矩阵不要求是方阵。长方形的矩阵也可能是对角矩阵，此时的乘法计算依旧高效。长方形的对角矩阵没有逆矩阵。
2. 对称矩阵
对称矩阵（symmetric matrix）是满足 $A^\mathsf{T} = A$ 的矩阵，即矩阵的转置和自己相等。这种矩阵是方阵，其主对角线元素是任意的，但其他元素在主对角线的两边成对出现。
对于某些不依赖参数顺序的双参数函数，其生成的元素往往会构成对称矩阵，例如计算两个点之间距离的函数不依赖两个点先后的顺序，矩阵 $\boldsymbol A$ 中的元素 $A_{i,j}$ 表示点 $i$ 到点 $j$ 之间的矩阵，则 $A_{i,j} = A_{j,i}$，$\boldsymbol A$ 式对称矩阵。
3. 单位向量
单位向量（unit vector）是具有单位范数的向量。对于单位向量 $\boldsymbol x$，有 $\Vert \boldsymbol x \Vert_2 = 1$。
如果 $\boldsymbol x^\mathsf{T} \boldsymbol y = 0$，则称向量 $\boldsymbol x$ 和向量 $\boldsymbol y$ 正交（orthogonal）。如果两个向量都是非零向量，则这两个向量间的夹角为 $90°$。在 $\mathbb{R}^n$ 中至多有 $n$ 个非零向量相互正交，如果这些正交的向量的范围都为 $1$，则称这些它们是标准正交的。
4. 正交矩阵
正交矩阵（orthogonal matrix）的行向量和列向量分别标准正交，对于正交矩阵 $\boldsymbol A$，有
\begin{equation}
\boldsymbol A^\mathsf{T} \boldsymbol A = \boldsymbol A \boldsymbol A^\mathsf{T} = \boldsymbol I \tag{2}
\end{equation}
即有
\begin{equation}
\boldsymbol A^{-1} = \boldsymbol A^\mathsf{T} \tag{3}
\end{equation}
可见计算正交矩阵的逆也非常方便，只需进行转置即可。