线性代数 Cheat Sheet 2-1：矩阵运算
若 $A$ 是 $m \times n$ 矩阵，则 $A$ 的第 $i$ 行第 $j$ 列的元素用 $a_{ij}$ 表示，称为 $A$ 的 $(i, j)$ 元素。$A$ 的各列是 $\mathbb{R}^m$ 中的向量，用黑体字母 $\boldsymbol a_1, \cdots, \boldsymbol a_n$ 表示，写作 $A = \begin{bmatrix} \boldsymbol a_1, \cdots, \boldsymbol a_n \end{bmatrix}$。$a_{ij}$ 是第 $j$ 个列向量 $\boldsymbol a_j$ 的第 $i$ 个元素。
矩阵 $A$ 的对角线元素是 $a_{11}, a_{22}, a_{33}, \cdots$，它们组成 $A$ 的主对角线。对角矩阵是非对角线元素全是 $0$ 的方阵，例如 $n \times n$ 单位矩阵 $I_n$。元素全是零的 $m \times n$ 矩阵称为零矩阵，用 $\boldsymbol 0$ 或者 $\boldsymbol 0_{m \times n}$ 表示。
1. 和与标量加法
若两个矩阵具有相同的维数且对应元素相等，则称这两个矩阵相等。
若 $A$ 和 $B$ 都是 $m \times n$ 矩阵，则和 $A + B$ 也是 $m \times n$ 矩阵，它的各列是 $A$ 与 $B$ 各列之和。因列向量的加法是对应元素相加，故 $A + B$ 的每个元素也就是 $A$ 与 $B$ 的对应元素相加。仅当 $A$ 与 $B$ 有相同的维数时，$A + B$ 才有定义。
若 $r$ 是标量而 $A$ 是矩阵，则标量乘法 $rA$ 是一个矩阵，它的每一列是 $A$ 的对应列的 $r$ 倍。与向量相同，定义 $-A$ 为 $(-1)A$，而 $A – B$ 为 $A + (-1)B$。
定理 1 设 $A, B, C$ 是相同维数的矩阵，$r$ 和 $s$ 是数，则有
a. $A + B = B + A$
b. $(A + B) + C = A + (B + C)$
c. $A + 0 = A$
d. $r(A + B) = rA + rB$
e. $(r + s)A = rA + sA$
f. $r(sA) = (rs)A$
2. 矩阵乘法
定义 若 $A$ 是 $m \times n$ 矩阵，$B$ 是 $n \times p$ 矩阵，$B$ 的列是 $\begin{bmatrix} \boldsymbol b_1, \cdots, \boldsymbol b_p \end{bmatrix}$，则乘积 $AB$ 是 $m \times p$ 矩阵，它的各列是 $A \boldsymbol b_1, \cdots, A \boldsymbol b_p$，即
\begin{equation}
AB = A \begin{bmatrix} \boldsymbol b_1 & \boldsymbol b_2 & \cdots & \boldsymbol b_p\end{bmatrix} = \begin{bmatrix} A \boldsymbol b_1 & A \boldsymbol b_2 & \cdots & A \boldsymbol b_p\end{bmatrix}
\end{equation}
矩阵乘法对应于线性变换的复合。 例如 $AB$ 相当于这样的线性变换，先用矩阵 $B$ 乘以向量 $\boldsymbol x$，得到向量 $B \boldsymbol x$，然后再用矩阵 $A$ 乘以这个向量，得到向量 $A(B\boldsymbol x)$。$A(B\boldsymbol x)$ 是由 $\boldsymbol x$ 经复合映射变换得来的。将此复合映射表示为乘以一个矩阵的变换，该矩阵即为 $AB$，即 $A(B \boldsymbol x) = (AB) \boldsymbol x$。假设 $A$ 是 $m \times p$ 的矩阵，$B$ 是 $p \times n$ 的矩阵，则有
\begin{equation}
B \boldsymbol x = x_1 \boldsymbol b_1 +\cdots + x_p \boldsymbol b_p
\end{equation}
\begin{align}
A(B \boldsymbol x) &= A(x_1 \boldsymbol b_1) +\cdots + A(x_p \boldsymbol b_p) \\
& = x_1 A \boldsymbol b_1 + \cdots + x_p A \boldsymbol b_p \\
& = \begin{bmatrix} A \boldsymbol b_1 & \cdots & \boldsymbol A b_p\end{bmatrix} \boldsymbol x
\end{align}
于是矩阵 $\begin{bmatrix} A \boldsymbol b_1 & \cdots & \boldsymbol b_p\end{bmatrix}$ 把 $\boldsymbol x$ 变成 $A(B \boldsymbol x)$，这也是上面对矩阵乘法 $AB$ 的定义。
$AB$ 的每一列都是 $A$ 各列的线性组合，以 $B$ 的对应列的元素为权。$AB$ 的行数等于 $A$ 的行数，列数等于 $B$ 的列数。
计算 $AB$ 的行列法则 若乘积 $AB$ 有意义，则 $AB$ 的第 $i$ 行第 $j$ 列的元素 $A$ 是第 $i$ 行与 $B$ 的第 $j$ 列对应元素乘积之和。若 $(AB)_{ij}$ 表示 $AB$ 的 $(i, j)$ 元素，$A$ 为 $m \times n$ 矩阵，则
\begin{equation}
(AB)_{ij} = a_{i1}b_{1j} + a_{i2}b_{2j} + \cdots + a_{in} b_{nj}
\end{equation}
记 $\mathrm{row_i}(A)$ 表示矩阵 $A$ 的第 $i$ 行，则
\begin{equation}
\mathrm{row_i}(AB) = \mathrm{row_i}(A) \cdot B
\end{equation}
3. 矩阵乘法的性质
定理 2 设 $A$ 为 $m \times n$ 矩阵，$B$ 和 $C$ 的维数使下列各式的乘积有意义。
a. $A(BC) = (AB)C$（乘法结合律）
b. $A(B + C) = AB + AC$（乘法左分配律）
c. $(B + C)A = BA + CA$（乘法右分配律）
d. $r(AB) = (rA)B = A(rB)$，$r$ 为任意数
e. $I_m A = A = A I_m$（矩阵乘法的恒等式）
上面的 $I_m$ 表示 $m \times m$ 单位矩阵，对 $\mathbb{R}^m$ 中的一切 $\boldsymbol x$，有 $I_m \boldsymbol x = \boldsymbol x$。
计算多个矩阵的乘积时不管怎样结合都行，但各矩阵的左右顺序必须保持不变。例如四个矩阵的乘积 $ABCD$ 可按 $A(BCD)$、$(ABC)D$ 或 $A(BC)D$ 计算。
矩阵乘法中的左右顺序是重要的，$AB$ 的列是 $A$ 的列的线性组合，$BA$ 的列是 $B$ 的列的线性组合，$AB$ 与 $BA$ 并不相同。若 $AB = BA$，则称 $A$ 和 $B$ 彼此可交换。
警告
1. 一般情况下，$AB \neq BA$。
2. 消去律对矩阵乘法不成立，即若 $AB = AC$，一般情况下，$B = C$ 并不成立。
3. 若乘积 $AB$ 是零矩阵，一般情况下，不能断定 $A = 0$ 或 $B = 0$。
4. 矩阵的乘幂
若 $A$ 是 $n \times n$ 矩阵，$k$ 是正整数，则 $A^k$ 表示 $k$ 个 $A$ 的乘积。 若 $A$ 不是零矩阵，且 $\boldsymbol x$ 属于 $\mathbb{R}^n$，则 $A^k \boldsymbol x$ 表示 $\boldsymbol x$ 被 $A$ 连续左乘 $k$ 次。若 $k = 0$，则 $A^0 \boldsymbol x $ 就是 $\boldsymbol x$ 本身，因此 $A^0$ 被解释为单位矩阵。
5. 矩阵的转置
给定 $m \times n$ 矩阵 $A$，则 $A$ 的转置是一个 $n \times m$ 的矩阵，用 $A^\mathsf{T}$表示，它的列是由 $A$ 的对应行构成的。
定理 3 设 $A$ 与 $B$ 表示矩阵，其维数使下列和与积有定义，则
a. $(A^\mathsf{T})^\mathsf{T} = A$
b. $(A + B)^\mathsf{T} = A^\mathsf{T} + B^\mathsf{T}$
c. 对任意数 $r$，$(rA)^\mathsf{T} = rA^\mathsf{T}$
d. $(AB)^\mathsf{T} = B^\mathsf{T}A^\mathsf{T}$
若干个矩阵的乘积的转置等于它们的转置的乘积，但相乘的顺序相反。