[DL Note] 线性代数：线性相关和生成子空间
1. 线性相关
对于 $\mathbb{R}^n$ 中一组向量 $\{\boldsymbol v_1, \cdots, \boldsymbol v_p\}$，若向量方程
\begin{equation}
x_1 \boldsymbol v_1 + x_2 \boldsymbol v_2 + \cdots + x_p \boldsymbol v_p = \boldsymbol 0 \tag{1}
\end{equation}
仅有平凡解，则称该向量组（集）是线性无关的。若存在不全为零的权 $c_1, \cdots, c_p$，使
\begin{equation}
c_1 \boldsymbol v_1 + c_2 \boldsymbol v_2 + \cdots + c_p \boldsymbol v_p = \boldsymbol 0 \tag{2}
\end{equation}
则称该向量组（集）是线性相关的。方程 $(2)$ 称为向量 $\boldsymbol v_1, \cdots, \boldsymbol v_p$ 之间的线性相关关系。一组向量线性相关当且仅当它不是线性无关的。
对于矩阵 $\boldsymbol A = \begin{bmatrix} \boldsymbol a_1 & \cdots & \boldsymbol a_n \end{bmatrix}$，矩阵方程 $\boldsymbol A \boldsymbol x = \boldsymbol 0$ 可以写成
\begin{equation}
x_1 \boldsymbol a_1 + x_2 \boldsymbol a_2 + \cdots + x_n \boldsymbol a_n = \boldsymbol 0
\end{equation}
$\boldsymbol A$ 的各列之间的每一个线性相关关系对应于方程 $\boldsymbol A \boldsymbol x = \boldsymbol 0$ 的一个非平凡解。由此可知，矩阵 $\boldsymbol A$ 的各列线性无关，当且仅当方程 $\boldsymbol A \boldsymbol x = \boldsymbol 0$ 仅有平凡解。
2. 子空间
$\mathbb{R}^n$ 中的一个子空间是 $\mathbb{R}^n$ 中的集合 $H$，具有以下三个性质：
- 零向量属于 $H$。
- 对 $H$ 中任意的向量 $\boldsymbol u$ 和 $\boldsymbol v$，向量 $\boldsymbol u + \boldsymbol v$ 属于 $H$。
- 对 $H$ 中任意的向量 $\boldsymbol u$ 和数 $c$，向量 $c \boldsymbol u$ 属于 $H$。
上面的性质说明，子空间对加法和标量乘法是封闭的。通过原点的一个平面是一种很典型的子空间，这里要求通过原点是因为子空间要包含零向量。注意 $\mathbb{R}^n$ 是它本身的子空间，因为三个性质都满足。另一个特殊的子空间是仅含零向量的集合，它也满足子空间的条件，称为零子空间。
设 $\boldsymbol v_1, \cdots, \boldsymbol v_p$ 属于 $\mathbb{R}^n$，$\boldsymbol v_1, \cdots, \boldsymbol v_p$ 的所有线性组合是 $\mathbb{R}^n$ 的子空间，称 $\mathrm{Span}\{\boldsymbol v_1, \cdots, \boldsymbol v_p\}$ 为由 $\boldsymbol v_1, \cdots, \boldsymbol v_p$ 生成（或张成）的子空间。
2.1. 矩阵的列空间
通常子空间与某个矩阵 $\boldsymbol A$ 有关，它们提供了关于方程 $\boldsymbol A \boldsymbol x = \boldsymbol b$ 的有用信息。
矩阵 $\boldsymbol A$ 的列空间是 $A$ 的各列的线性组合的集合，记作 $\mathrm{Col}\; \boldsymbol A$。
若 $\boldsymbol A = \begin{bmatrix} \boldsymbol a_1 & \cdots & \boldsymbol a_n\end{bmatrix}$，它们各列属于 $\mathbb{R}^m$，则 $\mathrm{Col}\; \boldsymbol A$ 和 $\mathrm{Span} \{\boldsymbol a_1, \cdots, \boldsymbol a_n \}$ 相同。$m \times n$ 矩阵的列空间是 $\mathbb{R}^m$ 的子空间。注意，仅当 $\boldsymbol A$ 的列生成 $\mathbb{R}^m$ 时，$\mathrm{Col}\; \boldsymbol A$ 等于 $\mathbb{R}^m$；否则，$\mathrm{Col}\; \boldsymbol A$ 仅是 $\mathbb{R}^m$ 的一部分。
2.2. 矩阵的零空间
矩阵 $\boldsymbol A$ 的零空间是齐次方程 $\boldsymbol A \boldsymbol x = \boldsymbol 0$ 的所有解的集合，记为 $\mathrm{Nul}\; \boldsymbol A$。当 $\boldsymbol A$ 有 $n$ 列（$\boldsymbol x$ 有 $n$ 行）时，$\boldsymbol A \boldsymbol x = \boldsymbol 0$ 的解属于 $\mathbb{R}^n$。
$m \times n$ 矩阵 $\boldsymbol A$ 的零空间是 $\mathbb{R}^n$ 的子空间。等价地，含有 $n$ 个未知数的 $m$ 个齐次线性方程的方程组 $\boldsymbol A \boldsymbol x = \boldsymbol 0$ 的所有解的集合是 $\mathbb{R}^n$ 的子空间。