线性代数 Cheat Sheet 1-4：矩阵方程 Ax = b
定义 若 $A$ 是 $m \times n$ 矩阵，它的各列为 $\boldsymbol a_1, \cdots, \boldsymbol a_n$。若 $\boldsymbol x$ 是 $\mathbb{R}^n$ 中的向量，则 $A$ 与 $\boldsymbol x$ 的积（记为 $A \boldsymbol x$），就是 $A$ 的各列以 $\boldsymbol x$ 中对应元素为权的线性组合，即
\begin{equation}
A \boldsymbol x = \begin{bmatrix}\boldsymbol a_1 & \boldsymbol a_2 & \cdots & \boldsymbol a_n \end{bmatrix}
\begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix} =
x_1 \boldsymbol a_1 + x_2 \boldsymbol a_2 + \cdots x_n \boldsymbol a_n
\end{equation}
仅当 $A$ 的列数等于 $\boldsymbol x$ 中元素个数行数时，$A \boldsymbol x$ 才有定义。
例如对于方程组
\begin{align}
x_1 + 2x_2 – x_3 &= 4 \\
-5x_2 + 3x_3 &= 1
\end{align}
它等价于向量方程
\begin{equation}
x_1 \begin{bmatrix} 1 \\ 0 \end{bmatrix} + x_2 \begin{bmatrix} 2 \\ -5 \end{bmatrix} + x_3 \begin{bmatrix} -1 \\ 3 \end{bmatrix} = \begin{bmatrix} 4 \\ 1 \end{bmatrix}
\end{equation}
将方程左边的线性组合写成矩阵乘向量的形式
\begin{equation}
\begin{bmatrix}
1 & 2 & -1 \\
0 & -5 & 3
\end{bmatrix}
\begin{bmatrix}
x_1 \\ x_2 \\ x_3
\end{bmatrix} =
\begin{bmatrix}
4 \\ 1
\end{bmatrix}
\end{equation}
像上式这样具有 $A \boldsymbol x = \boldsymbol b$ 的形式的方程，称为矩阵方程。
定理 3 若 $A$ 是 $m \times n$ 矩阵，它的各列为 $\boldsymbol a_1, \cdots, \boldsymbol a_n$，而 $\boldsymbol b$ 属于 $\mathbb{R}^n$，则矩阵方程
\begin{equation}
A \boldsymbol x = \boldsymbol b
\end{equation}
与向量方程
\begin{equation}
x_1 \boldsymbol a_1 + x_2 \boldsymbol a_2 + \cdots + x_n \boldsymbol a_n = \boldsymbol b
\end{equation}
有相同的解集。由线性组合的概念，该矩阵方程又与增广矩阵为
\begin{equation}
\begin{bmatrix}\boldsymbol a_1 & \boldsymbol a_2 & \cdots & \boldsymbol a_n & \boldsymbol b\end{bmatrix}
\end{equation}
的线性方程组有相同的解集。
线性方程组、向量方程、矩阵方程具有不同的表现形式，但彼此等价。三种表现形式都可以用相同的方法求解，例如使用行化简增广矩阵的方式求解。
Contents
1. 解的存在性
由 $A \boldsymbol x$ 的定义，可知方程 $A \boldsymbol x = \boldsymbol b$ 有解当且仅当 $\boldsymbol b$ 是 $A$ 的各列的线性组合。
如果要求方程 $A \boldsymbol x = \boldsymbol b$ 对任意 $\boldsymbol b$ 都有解，则由存在与唯一性定理，方程增广矩阵 $\begin{bmatrix}A & b\end{bmatrix}$ 的阶梯型中不能有形如 $\begin{bmatrix}0 & \cdots & 0 & b\end{bmatrix}$（$b \neq 0$）的行，即 $A$（系数矩阵）的阶梯型中不能有零行，即 $A$ 的每行都有主元。
定理 4 设 $A$ 是 $m \times n$ 矩阵，则下列命题是逻辑上等价的，即对于某个 $A$，它们都成立或都不成立。
a. 对 $\mathbb{R}^m$ 中的每个 $\boldsymbol b$，方程 $A \boldsymbol x = \boldsymbol b$ 有解。
b. $\mathbb{R}^m$ 中的每个 $\boldsymbol b$ 都是 $A$ 的列的一个线性组合。
c. $A$ 的各列生成 $\mathbb{R}^m$。
d. $A$ 在每一行都有一个主元位置。
一般地，$\mathbb{R}^m$ 中的向量集 $\{\boldsymbol v_1, \cdots, \boldsymbol v_p\}$ 生成 $\mathbb{R}^m$ 的意思是说，$\mathbb{R}^m$ 中的每个向量都是 $\boldsymbol v_1, \cdots, \boldsymbol v_p$ 的线性组合，即 $\textrm{Span}\{\boldsymbol v_1, \cdots, \boldsymbol v_p\} = \mathbb{R}^m$。
注意定理 4 中讨论的 $A$ 是系数矩阵，而不是增广矩阵。若增广矩阵 $\begin{bmatrix} A & \boldsymbol b\end{bmatrix}$ 在每一行都有主元位置，则方程 $Ax = \boldsymbol b$ 可能相容，也可能不相容。
注意定理 4.a 只要求方程 $A \boldsymbol x = \boldsymbol b$ 有解，而不要求只有唯一解。当 $m < n$ 时，有的列没有主元位置，方程 $A \boldsymbol x = \boldsymbol b$ 存在自由变量，此时有无穷多解。当 $m = n$ 时，$A$ 的每行都有主元位置相当于每列都有主元位置，此时方程 $A \boldsymbol x = \boldsymbol b$ 没有自由变量，有唯一解。
根据 $A \boldsymbol x$ 的定义和一组向量生成 $\mathbb{R}^m$ 的定义，定理 4 中的命题 a、b、c 显然是等价的。对于命题 d，将增广矩阵 $\begin{bmatrix}A & \boldsymbol b\end{bmatrix}$ 行化简为增广矩阵 $\begin{bmatrix}U & \boldsymbol d\end{bmatrix}$：若 d 成立，则 $U$ 的每一行都有一个主元位置，而增广列 $\boldsymbol d$ 中没有主元，故对任意 $\boldsymbol b$，$A \boldsymbol x = \boldsymbol b$ 有解，命题 a 成立；若 d 不成立，则 $U$ 的最后一行全是 0，设 $\boldsymbol d$ 是最后一个元素为 1 的向量，则 $\begin{bmatrix}U & \boldsymbol d\end{bmatrix}$ 代表一个不相容的方程组，故方程组 $A \boldsymbol x = \boldsymbol b$ 也是不相容的，命题 a 也不成立。
计算 $Ax$ 的行-向量规划 若乘积 $A \boldsymbol x$ 有定义，则 $A \boldsymbol x$ 中的第 $i$ 个元素是 $A$ 的第 $i$ 行元素与 $\boldsymbol x$ 的相应元素的乘积之和。
主对角线上的元素都是 1、其他位置上元素都是 0 的矩阵称为单位矩阵，记为 $I$。$n \times n$ 的单位矩阵有时记为 $I_n$。对任意 $\mathbb{R}^n$ 中的 $\boldsymbol x$，有 $I_n \boldsymbol x = \boldsymbol x$。
2. 矩阵-向量积 $Ax$ 的性质
定理 5 若 $A$ 是 $m \times n$ 的矩阵，$\boldsymbol u$ 和 $\boldsymbol v$ 是 $\mathbb{R}^n$ 中的向量，$c$ 是标量，则
1. $A(\boldsymbol u + \boldsymbol v) = A \boldsymbol u + A \boldsymbol v$
2. $A(c \boldsymbol u) = c(A \boldsymbol u)$