线性代数 Cheat Sheet 6-1：內积、长度和正交性
1. 內积
如果 $\boldsymbol u$ 和 $\boldsymbol v$ 是 $\mathbb{R}^n$ 中的向量，则可以将 $\boldsymbol u$ 和 $\boldsymbol v$ 作为 $n \times 1$ 矩阵。转置 $\boldsymbol u$ 是 $1 \times n$ 矩阵，且矩阵乘积 $\boldsymbol u^\mathsf{T} \boldsymbol v$ 是一个 $1 \times 1$ 矩阵，将其记为一个不加括号的实数（标量）。数 $\boldsymbol u^\mathsf{T} \boldsymbol v$ 称为 $\boldsymbol u$ 和 $\boldsymbol v$ 的內积（或点积），通常记作 $\boldsymbol u \cdot \boldsymbol v$。如果
\begin{equation}
\boldsymbol u = \begin{bmatrix} u_1 \\ u_2 \\ \vdots \\ u_n \end{bmatrix}, \;
\boldsymbol v = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}
\end{equation}
那么 $\boldsymbol u$ 和 $\boldsymbol v$ 的內积的定义为
\begin{equation}
\begin{bmatrix} u_1 & u_2 & \cdots & u_n \end{bmatrix}
\begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}=
u_1v_1 + u_2v_2 + \cdots + u_nv_n
\end{equation}
定理 1 设 $\boldsymbol v, \boldsymbol u, \boldsymbol w$ 是 $\mathbb{R}^n$ 中的向量，$c$ 是一个数，那么
a. $\boldsymbol u \cdot \boldsymbol v = \boldsymbol v \cdot \boldsymbol u$
b. $(\boldsymbol u + \boldsymbol v) \cdot \boldsymbol w = \boldsymbol u \cdot \boldsymbol w + \boldsymbol v \cdot \boldsymbol w$
c. $(c \boldsymbol u) \cdot \boldsymbol v = \boldsymbol u \cdot (c \boldsymbol v)$
d. $\boldsymbol u \cdot \boldsymbol u \geq 0$，并且 $\boldsymbol u \cdot \boldsymbol u = 0$ 成立的充分必要条件时 $\boldsymbol u = \boldsymbol 0$
性质 b 和 c 可以合并为以下法则：
\begin{equation}
(c_1 \boldsymbol u_1 + \cdots + c_p \boldsymbol u_p) \cdot \boldsymbol w = c_1 (\boldsymbol u_1 \cdot \boldsymbol w_1) + \cdots + c_p (\boldsymbol u_p \cdot \boldsymbol w_p)
\end{equation}
2. 向量的长度
定义 向量 $\boldsymbol v$ 的长度（或范数）是非负数 $\lVert \boldsymbol v \rVert$，定义为
\begin{equation}
\lVert \boldsymbol v \rVert = \sqrt{\boldsymbol v \cdot \boldsymbol v} = \sqrt{v_1^2 + v_2^2 + \cdots + v_n^2}
\;\; 且 \; \lVert \boldsymbol v \rVert^2 = \boldsymbol v \cdot \boldsymbol v
\end{equation}
假若 $\boldsymbol v$ 是 $\mathbb{R}^2$ 中的向量，比如 $\boldsymbol v = \begin{bmatrix} a \\ b \end{bmatrix}$，如果将 $\boldsymbol v$ 与平面上的几何点 $(a, b)$ 相对应，那么 $\lVert \boldsymbol v \rVert$ 和平面内原点到 $\boldsymbol v$ 的线段长度一致。类似长方体对角线长度的计算，三维空间中向量 $\boldsymbol v$ 的长度和通常意义下的长度概念是一致的。
对任意数 $c$，向量 $c \boldsymbol v$ 的长度等于 $|c|$ 乘以 $\boldsymbol v$ 的长度，即
\begin{equation}
\lVert c \boldsymbol v \rVert = |c| \lVert \boldsymbol v \rVert
\end{equation}
长度为 $1$ 的向量称为单位向量。如果把一个非零向量除以其自身的长度，即乘以 $\frac{1}{\lVert \boldsymbol v \rVert}$，就可以得到一个单位向量，即 $\boldsymbol u = \frac{\boldsymbol v}{\lVert \boldsymbol v \rVert}$。这种把向量 $\boldsymbol v$ 化成单位向量 $\boldsymbol u$ 的过程，称为向量 $\boldsymbol v$ 的单位化，此时 $\boldsymbol u$ 和 $\boldsymbol v$ 方向一致。
3. $\mathbb{R}^n$ 中的距离
定义 $\mathbb{R}^n$ 中向量 $\boldsymbol u$ 和 $\boldsymbol v$ 之间的距离记作 $\mathrm{dist}(\boldsymbol u, \boldsymbol v)$，表示向量 $\boldsymbol u – \boldsymbol v$ 的长度，即
\begin{equation}
\mathrm{dist}(\boldsymbol u, \boldsymbol v) = \lVert \boldsymbol u – \boldsymbol v \rVert
\end{equation}
在 $\mathbb{R}^2$ 和 $\mathbb{R}^3$ 中，距离的定义和欧几里得空间中两点的距离公式一致。
4. 正交向量
考虑 $\mathbb{R}^2$ 或 $\mathbb{R}^3$ 中通过原点且由向量 $\boldsymbol u$ 和 $\boldsymbol v$ 确定的两条直线，这两条直线几何上垂直当且仅当从 $\boldsymbol u$ 到 $\boldsymbol v$ 的距离与从 $\boldsymbol u$ 到 $-\boldsymbol v$ 的距离相等，这等同与要求它们距离的平方要相等。由
\begin{align}
[\mathrm{dist}(\boldsymbol u, \boldsymbol v)]^2 &= \lVert \boldsymbol u – \boldsymbol v \rVert^2 = (\boldsymbol u – \boldsymbol v) \cdot (\boldsymbol u – \boldsymbol v) \\
&= \boldsymbol u \cdot \boldsymbol u + \boldsymbol u \cdot \boldsymbol v + \boldsymbol v \cdot \boldsymbol u + \boldsymbol v \cdot \boldsymbol v \\
&= \lVert \boldsymbol u \rVert^2 + \lVert \boldsymbol v \rVert^2 + 2 \boldsymbol u \cdot \boldsymbol v \\
[\mathrm{dist}(\boldsymbol u, -\boldsymbol v)]^2 &= \lVert \boldsymbol u – (-\boldsymbol v) \rVert^2 \\
&= \lVert \boldsymbol u \rVert^2 + \lVert \boldsymbol v \rVert^2 – 2 \boldsymbol u \cdot \boldsymbol v
\end{align}
两个距离平方相等的充分必要条件时 $ 2 \boldsymbol u \cdot \boldsymbol v = -2 \boldsymbol u \cdot \boldsymbol v$ 或 $\boldsymbol u \cdot \boldsymbol v = 0$。
定义 对于 $\mathbb{R}^n$ 中的两个向量 $\boldsymbol u$ 和 $\boldsymbol v$，如果 $\boldsymbol u \cdot \boldsymbol v = 0$，则称 $\boldsymbol u$ 和 $\boldsymbol v$ 是（相互）正交的。
$\boldsymbol 0^\mathsf{T} \cdot \boldsymbol v = 0$ 对任意 $\boldsymbol v$ 都成立，可以得出零向量与 $\mathbb{R}^n$ 中任意向量正交。
定理 2（毕达哥拉斯（勾股）定理）两个向量 $\boldsymbol u$ 和 $\boldsymbol v$ 正交的充分必要条件时 $\lVert \boldsymbol u + \boldsymbol v \rVert^2 = \lVert \boldsymbol u \rVert^2 + \lVert \boldsymbol v \rVert^2$。
5. 正交补
如果向量 $\boldsymbol z$ 与 $\mathbb{R}^n$ 的子空间 $W$ 中的任意向量都正交，则称 $\boldsymbol z$ 正交于 $W$。与子空间 $W$ 正交的向量 $\boldsymbol z$ 的全体组成的集合称为 $W$ 的正交补，并记作 $W^\perp$（$W^\perp$ 读作 $W$ 正交补）。
若 $W$ 是 $\mathbb{R}^n$ 的子空间，则
1. 向量 $\boldsymbol x$ 属于 $W^\perp$ 的充分必要条件时向量 $\boldsymbol x$ 与生成空间 $W$ 的任一向量都正交。
2. $W^\perp$ 是 $\mathbb{R}^n$ 的子空间。
定理 3 假设 $A$ 是 $m \times n$ 矩阵，那么 $A$ 的行空间的正交补是 $A$ 的零空间，且 $A$ 的列空间的正交补是 $A^\mathsf{T}$ 的零空间：
\begin{equation}
(\mathrm{Row}\; A)^\perp = \mathrm{Nul}\; A \; 且 \; (\mathrm{Col}\; A)^\perp = \mathrm{Nul}\; A^\mathsf{T}
\end{equation}
6. $\mathbb{R}^2$ 和 $\mathbb{R}^3$ 中的角度
如果 $\boldsymbol u$ 和 $\boldsymbol v$ 是 $\mathbb{R}^2$ 或 $\mathbb{R}^3$ 中的非零向量，那么可以将它们的內积与从原点到点 $\boldsymbol u$ 和原点到点 $\boldsymbol v$ 的两个线段之间的夹角 $\vartheta$ 联系起来：
\begin{equation}
\boldsymbol u \cdot \boldsymbol v = \lVert \boldsymbol u \rVert \lVert \boldsymbol v \rVert \cos\vartheta
\end{equation}
假设 $\boldsymbol u$ 和 $\boldsymbol v$ 是 $\mathbb{R}^2$ 中向量，由 $\boldsymbol u$ 和 $\boldsymbol v$ 和原点构成的三角形边长分别为 $\lVert \boldsymbol u \rVert$，$\lVert \boldsymbol v \rVert$ 和 $\lVert \boldsymbol u -\boldsymbol v \rVert$，由余弦定理，有
\begin{equation}
\lVert \boldsymbol u -\boldsymbol v \rVert^2 = \lVert \boldsymbol u \rVert^2 + \lVert \boldsymbol v \rVert^2 – 2 \lVert \boldsymbol u \rVert \lVert \boldsymbol v \rVert \cos\vartheta
\end{equation}
可得
\begin{align}
\lVert \boldsymbol u \rVert \lVert \boldsymbol v \rVert \cos\vartheta &= \frac{1}{2}[\lVert \boldsymbol u \rVert^2 + \lVert \boldsymbol v \rVert^2 – \lVert \boldsymbol u -\boldsymbol v \rVert^2] \\
&= \frac{1}{2}[u_1^2 + u_2^2 + v_1^2 + v_2^2 – (u_1 – v_1)^2 – (u_2 – v_2)^2] \\
&= u_1v_1 + u_2v_2 \\
&= \boldsymbol u \cdot \boldsymbol v
\end{align}