线性代数 Cheat Sheet 7-3：条件优化
工程中常常需要寻找一些特定集合内的 \boldsymbol x 值，使得二次型 Q(\boldsymbol x) 取得最大值或最小值。具有代表性的是，这类问题可化为 \boldsymbol x 在一组单位向量中的变量的优化问题。
\mathbb{R}^n 中的一个单位向量 \boldsymbol x 可用以下几种等价形式来描述：
\begin{equation} \lVert \boldsymbol x \rVert = 1, \; \lVert \boldsymbol x \rVert^2 = 1, \; \boldsymbol x^\mathsf{T} \boldsymbol x = 1 \end{equation}
和
\begin{equation} x_1^2 + x_2^2 + \cdots + x_n^2 = 1 \tag{1} \end{equation}
在应用中经常使用 \boldsymbol x^\mathsf{T} \boldsymbol x = 1 的展开式 (1)。
当一个二次型没有交叉项乘积时，可以很容易得到在 \boldsymbol x^\mathsf{T} \boldsymbol x = 1 下的最大值和最小值。
可以证明，对任何对称矩阵 A，在 \lVert \boldsymbol x \rVert = 1 条件下，\boldsymbol x^\mathsf{T} A \boldsymbol x 所有可能值的集合是闭区间。分别用 m 和 M 表示区间的左端点和右端点，即取
\begin{equation} m = \min\{\boldsymbol x^\mathsf{T} A \boldsymbol x: \lVert \boldsymbol x \rVert = 1\}, \; M = \max\{\boldsymbol x^\mathsf{T} A \boldsymbol x: \lVert \boldsymbol x \rVert = 1\} \tag{2} \end{equation}
如果 \lambda 是一个特征值，那么 m \leq \lambda \leq M，m 和 M 本身也是特征值。
定理 6 设 A 是对称矩阵，且 m 和 M 的定义如 (2) 式所示，那么 M 是 A 的最大特征值 \lambda_1，m 是 A 的最小特征值。如果 \boldsymbol x 是对应于 M 的单位特征向量 \boldsymbol u_1，那么 \boldsymbol x^\mathsf{T} A \boldsymbol x 的值等于 M。如果 \boldsymbol x 是对应于 m 的单位特征向量，那么 \boldsymbol x^\mathsf{T} A \boldsymbol x 的值等于 m。
定理 7 设 A, \lambda_1, \boldsymbol u_1 的定义如定理 6 所示。在如下限制条件下：
\begin{equation} \boldsymbol x^\mathsf{T} \boldsymbol x = 1, \; \boldsymbol x^\mathsf{T} \boldsymbol u_1 = 0 \end{equation}
\boldsymbol x^\mathsf{T} A \boldsymbol x 的最大值是第二大特征值 \lambda_2，且这个最大值可以在 \boldsymbol x 是对应于 \lambda_2 的特征向量 \boldsymbol u_2 处达到。
限制条件 \boldsymbol x^\mathsf{T} \boldsymbol u_1 = 0 意味取到最大值的解 \boldsymbol x 要与最大特征值对应的特征向量 \boldsymbol u_1 正交。假设在 \mathbb{R}^3 中，有 \boldsymbol u_1 = (1, 0, 0)，则为了满足此限制条件， \boldsymbol x 的第一个元素要为 0，即 x_1 = 0。
定理 8 设 A 是一个 n \times n 的对称矩阵，其正交对角化为 A = PDP^{-1}，将对角矩阵 D 上的元素重新排列，使得 \lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_n，且 P 的列是其对应的单位特征向量 \boldsymbol u_1, \cdots, \boldsymbol u_n，那么对 k = 2, \cdots, n，在以下限制条件下：
\begin{equation} \boldsymbol x^\mathsf{T} \boldsymbol x = 1, \; \boldsymbol x^\mathsf{T} \boldsymbol u_1 = 0, \; \cdots, \; \boldsymbol x^\mathsf{T} \boldsymbol u_{k-1} = 0 \end{equation}
\boldsymbol x^\mathsf{T} A \boldsymbol x 的最大值是特征值 \lambda_k，且这个最大值在 \boldsymbol x = \boldsymbol u_k 处可以达到。