线性代数 Cheat Sheet 6-7：內积空间
定义 向量空间 $V$ 上的內积是一个函数，对每一对属于 $V$ 的向量 $\boldsymbol u$ 和 $\boldsymbol v$，存在一个实数 $\langle\boldsymbol u, \boldsymbol v\rangle$，满足下面公理，其中 $\boldsymbol u, \boldsymbol v, \boldsymbol w$ 属于 $V$，$c$ 为任意数：
1. $\langle\boldsymbol u, \boldsymbol v\rangle = \langle\boldsymbol v, \boldsymbol u\rangle$
2. $\langle\boldsymbol u + \boldsymbol v, \boldsymbol w\rangle = \langle\boldsymbol u, \boldsymbol w\rangle + \langle\boldsymbol v, \boldsymbol w\rangle$
3. $\langle c\boldsymbol u, \boldsymbol v\rangle = c\langle\boldsymbol u, \boldsymbol v\rangle$
4. $\langle\boldsymbol u, \boldsymbol u\rangle \geq 0$ 且 $\langle\boldsymbol u, \boldsymbol u\rangle = 0$ 的充分必要条件是 $\boldsymbol u = 0$
一个赋予上面內积的向量空间称为內积空间。
具有标准內积的向量空间 $\mathbb{R}^n$ 是一个內积空间。
1. 长度、距离和正交性
设 $V$ 是一个內积空间，其內积记作 $\langle\boldsymbol u, \boldsymbol v\rangle$。像 $\mathbb{R}^n$ 中一样，我们定义一个向量 $\boldsymbol v$ 的长度或范数为数
\begin{equation}
\lVert \boldsymbol v \rVert = \sqrt{\langle\boldsymbol v, \boldsymbol v\rangle}
\end{equation}
即 $\lVert \boldsymbol v \rVert^2 = \langle\boldsymbol v, \boldsymbol v\rangle$（这个定义有意义，因为 $\langle\boldsymbol v, \boldsymbol v\rangle \geq 0$，但这个定义并不是说 $\langle\boldsymbol v, \boldsymbol v\rangle$ 是一个“平方之和”，因为 $\boldsymbol v$ 不必是 $\mathbb{R}^n$ 中元素）。
一个单位向量是长度为 $1$ 的向量，向量 $\boldsymbol u$ 和 $\boldsymbol v$ 之间的距离是 $\lVert \boldsymbol u – \boldsymbol v \rVert$。如果 $\langle\boldsymbol u, \boldsymbol v\rangle = 0$ 成立，则向量 $\boldsymbol u$ 和向量 $\boldsymbol v$ 正交。
2. 格拉姆-施密特方法
內积空间中有限维子空间的正交基的存在性可由格拉姆-施密特方法确定，像 $\mathbb{R}^n$ 空间一样，应用中经常出现的一些正交基问题可用这个方法构造。
一个向量在一个具有正交基的子空间 $W$ 上的正交投影可像平常一样构造。投影不依赖于正交基的选取，并且它们有正交分解定理和最佳逼近定理中所描述的性质。
3. 內积空间的最佳逼近
应用数学中最常见的问题设计元素是函数的向量空间，主要是在 $V$ 的特定子空间 $W$ 中选取函数 $g$ 来逼近 $V$ 中的函数 $f$。对 $f$ 的“逼近”成都依赖于 $\lVert f – g \rVert$ 定义的方式，仅考虑 $f$ 和 $g$ 的距离用內积定义确定的情形，此时，$f$ 由 $W$ 中函数的最佳逼近是指 $f$ 在子空间 $W$ 上的正交投影。
4. 两个不等式
给定內积空间 $V$ 中的向量 $\boldsymbol v$ 和有限维子空间 $W$，将勾股定理应用到 $\boldsymbol v$ 关于 $W$ 的正交分解中，可以得到
\begin{equation}
\lVert \boldsymbol v \rVert^2 = \lVert \mathrm{Proj}_W \boldsymbol v \rVert^2 + \lVert \boldsymbol v – \mathrm{Proj}_W \boldsymbol v \rVert^2
\end{equation}
特别地，这表明 $\boldsymbol v$ 到 $W$ 上投影的范数不超过 $\boldsymbol v$ 自身的范数。
定理 16（柯西-施瓦茨不等式）对 $V$ 中任意向量 $\boldsymbol u$ 和 $\boldsymbol v$，有
\begin{equation}
|\langle\boldsymbol u, \boldsymbol v\rangle| \leq \lVert \boldsymbol u \rVert \lVert \boldsymbol v \rVert
\end{equation}
定理 17（三角不等式）对属于 $V$ 中的所有向量 $\boldsymbol u, \boldsymbol v$，有
\begin{equation}
\lVert \boldsymbol u + \boldsymbol v \rVert \leq \lVert \boldsymbol u \rVert + \lVert \boldsymbol v \rVert
\end{equation}