线性代数 Cheat Sheet 2-1:矩阵运算

  若 $A$ 是 $m \times n$ 矩阵,则 $A$ 的第 $i$ 行第 $j$ 列的元素用 $a_{ij}$ 表示,称为 $A$ 的 $(i, j)$ 元素。$A$ 的各列是 $\mathbb{R}^m$ 中的向量,用黑体字母 $\boldsymbol a_1, \cdots, \boldsymbol a_n$ 表示,写作 $A = \begin{bmatrix} \boldsymbol a_1, \cdots, \boldsymbol a_n \end{bmatrix}$。$a_{ij}$ 是第 $j$ 个列向量 $\boldsymbol a_j$ 的第 $i$ 个元素。

  矩阵 $A$ 的对角线元素是 $a_{11}, a_{22}, a_{33}, \cdots$,它们组成 $A$ 的主对角线对角矩阵是非对角线元素全是 $0$ 的方阵,例如 $n \times n$ 单位矩阵 $I_n$。元素全是零的 $m \times n$ 矩阵称为零矩阵,用 $\boldsymbol 0$ 或者 $\boldsymbol 0_{m \times n}$ 表示。

1. 和与标量加法

  若两个矩阵具有相同的维数且对应元素相等,则称这两个矩阵相等

  若 $A$ 和 $B$ 都是 $m \times n$ 矩阵,则 $A + B$ 也是 $m \times n$ 矩阵,它的各列是 $A$ 与 $B$ 各列之和。因列向量的加法是对应元素相加,故 $A + B$ 的每个元素也就是 $A$ 与 $B$ 的对应元素相加。仅当 $A$ 与 $B$ 有相同的维数时,$A + B$ 才有定义。

  若 $r$ 是标量而 $A$ 是矩阵,则标量乘法 $rA$ 是一个矩阵,它的每一列是 $A$ 的对应列的 $r$ 倍。与向量相同,定义 $-A$ 为 $(-1)A$,而 $A – B$ 为 $A + (-1)B$。

  定理 1 设 $A, B, C$ 是相同维数的矩阵,$r$ 和 $s$ 是数,则有
a. $A + B = B + A$
b. $(A + B) + C = A + (B + C)$
c. $A + 0 = A$
d. $r(A + B) = rA + rB$
e. $(r + s)A = rA + sA$
f. $r(sA) = (rs)A$

2. 矩阵乘法

  定义 若 $A$ 是 $m \times n$ 矩阵,$B$ 是 $n \times p$ 矩阵,$B$ 的列是 $\begin{bmatrix} \boldsymbol b_1, \cdots, \boldsymbol b_p \end{bmatrix}$,则乘积 $AB$ 是 $m \times p$ 矩阵,它的各列是 $A \boldsymbol b_1, \cdots, A \boldsymbol b_p$,即

\begin{equation}
AB = A \begin{bmatrix} \boldsymbol b_1 & \boldsymbol b_2 & \cdots & \boldsymbol b_p\end{bmatrix} = \begin{bmatrix} A \boldsymbol b_1 & A \boldsymbol b_2 & \cdots & A \boldsymbol b_p\end{bmatrix}
\end{equation}

  矩阵乘法对应于线性变换的复合。 例如 $AB$ 相当于这样的线性变换,先用矩阵 $B$ 乘以向量 $\boldsymbol x$,得到向量 $B \boldsymbol x$,然后再用矩阵 $A$ 乘以这个向量,得到向量 $A(B\boldsymbol x)$。$A(B\boldsymbol x)$ 是由 $\boldsymbol x$ 经复合映射变换得来的。将此复合映射表示为乘以一个矩阵的变换,该矩阵即为 $AB$,即 $A(B \boldsymbol x) = (AB) \boldsymbol x$。假设 $A$ 是 $m \times p$ 的矩阵,$B$ 是 $p \times n$ 的矩阵,则有

\begin{equation}
B \boldsymbol x = x_1 \boldsymbol b_1 +\cdots + x_p \boldsymbol b_p
\end{equation}

\begin{align}
A(B \boldsymbol x) &= A(x_1 \boldsymbol b_1) +\cdots + A(x_p \boldsymbol b_p) \\
& = x_1 A \boldsymbol b_1 + \cdots + x_p A \boldsymbol b_p \\
& = \begin{bmatrix} A \boldsymbol b_1 & \cdots & \boldsymbol A b_p\end{bmatrix} \boldsymbol x
\end{align}

于是矩阵 $\begin{bmatrix} A \boldsymbol b_1 & \cdots & \boldsymbol b_p\end{bmatrix}$ 把 $\boldsymbol x$ 变成 $A(B \boldsymbol x)$,这也是上面对矩阵乘法 $AB$ 的定义。

  $AB$ 的每一列都是 $A$ 各列的线性组合,以 $B$ 的对应列的元素为权。$AB$ 的行数等于 $A$ 的行数,列数等于 $B$ 的列数。

  计算 $AB$ 的行列法则 若乘积 $AB$ 有意义,则 $AB$ 的第 $i$ 行第 $j$ 列的元素 $A$ 是第 $i$ 行与 $B$ 的第 $j$ 列对应元素乘积之和。若 $(AB)_{ij}$ 表示 $AB$ 的 $(i, j)$ 元素,$A$ 为 $m \times n$ 矩阵,则

\begin{equation}
(AB)_{ij} = a_{i1}b_{1j} + a_{i2}b_{2j} + \cdots + a_{in} b_{nj}
\end{equation}

  记 $\mathrm{row_i}(A)$ 表示矩阵 $A$ 的第 $i$ 行,则

\begin{equation}
\mathrm{row_i}(AB) = \mathrm{row_i}(A) \cdot B
\end{equation}

3. 矩阵乘法的性质

  定理 2 设 $A$ 为 $m \times n$ 矩阵,$B$ 和 $C$ 的维数使下列各式的乘积有意义。
a. $A(BC) = (AB)C$(乘法结合律)
b. $A(B + C) = AB + AC$(乘法左分配律)
c. $(B + C)A = BA + CA$(乘法右分配律)
d. $r(AB) = (rA)B = A(rB)$,$r$ 为任意数
e. $I_m A = A = A I_m$(矩阵乘法的恒等式)

  上面的 $I_m$ 表示 $m \times m$ 单位矩阵,对 $\mathbb{R}^m$ 中的一切 $\boldsymbol x$,有 $I_m \boldsymbol x = \boldsymbol x$。

  计算多个矩阵的乘积时不管怎样结合都行,但各矩阵的左右顺序必须保持不变。例如四个矩阵的乘积 $ABCD$ 可按 $A(BCD)$、$(ABC)D$ 或 $A(BC)D$ 计算。

  矩阵乘法中的左右顺序是重要的,$AB$ 的列是 $A$ 的列的线性组合,$BA$ 的列是 $B$ 的列的线性组合,$AB$ 与 $BA$ 并不相同。若 $AB = BA$,则称 $A$ 和 $B$ 彼此可交换

  警告
1. 一般情况下,$AB \neq BA$。
2. 消去律对矩阵乘法不成立,即若 $AB = AC$,一般情况下,$B = C$ 并不成立。
3. 若乘积 $AB$ 是零矩阵,一般情况下,不能断定 $A = 0$ 或 $B = 0$。

4. 矩阵的乘幂

  若 $A$ 是 $n \times n$ 矩阵,$k$ 是正整数,则 $A^k$ 表示 $k$ 个 $A$ 的乘积。 若 $A$ 不是零矩阵,且 $\boldsymbol x$ 属于 $\mathbb{R}^n$,则 $A^k \boldsymbol x$ 表示 $\boldsymbol x$ 被 $A$ 连续左乘 $k$ 次。若 $k = 0$,则 $A^0 \boldsymbol x $ 就是 $\boldsymbol x$ 本身,因此 $A^0$ 被解释为单位矩阵。

5. 矩阵的转置

  给定 $m \times n$ 矩阵 $A$,则 $A$ 的转置是一个 $n \times m$ 的矩阵,用 $A^\mathsf{T}$表示,它的列是由 $A$ 的对应行构成的。

  定理 3 设 $A$ 与 $B$ 表示矩阵,其维数使下列和与积有定义,则
a. $(A^\mathsf{T})^\mathsf{T} = A$
b. $(A + B)^\mathsf{T} = A^\mathsf{T} + B^\mathsf{T}$
c. 对任意数 $r$,$(rA)^\mathsf{T} = rA^\mathsf{T}$
d. $(AB)^\mathsf{T} = B^\mathsf{T}A^\mathsf{T}$

  若干个矩阵的乘积的转置等于它们的转置的乘积,但相乘的顺序相反。