主成分分析用于分析多维数据，如研究生产塑料材料的化学过程时，为了监控生产过程，在材料生产过程中取得 $300$ 个样本，且每一个样本经过 8 个一组的测试，实验报告是一个属于 $\mathbb{R}^8$ 的向量，这类向量集合形成一个 $8 \times 300$ 的矩阵，称为观测矩阵。 1. 均值和协方差 　　令 $\begin{bmatrix} \boldsymbol X_1 & …
Read more

　　对角化定理有很多重要的应用，但并不是所有矩阵都有分解式 $A = PDP^{-1}$，且 $D$ 是对角的。但分解 $A = QDP^{-1}$ 对任意 $m \times n$ 矩阵 $A$ 都有可能。这类特殊的分解称为奇异值分解。 　　奇异值分解基于一般的矩阵对角化性质，可以被长方形矩阵模仿：一个对称矩阵 $A$ 的特征值的绝对值表示度量 $A$ 拉长或压缩一个向量（特征向量）的成都。如果…
Read more

　　工程中常常需要寻找一些特定集合内的 $\boldsymbol x$ 值，使得二次型 $Q(\boldsymbol x)$ 取得最大值或最小值。具有代表性的是，这类问题可化为 $\boldsymbol x$ 在一组单位向量中的变量的优化问题。 　　$\mathbb{R}^n$ 中的一个单位向量 $\boldsymbol x$ 可用以下几种等价形式来描述： \begin{equation} \lV…
Read more

　　$\mathbb{R}^n$ 上的一个二次型是一个定义在 $\mathbb{R}^n$ 上的函数，它在向量 $\boldsymbol x$ 处的值可由表达式 $Q(x) = \boldsymbol x^\mathsf{T} A \boldsymbol x$ 计算，其中 $A$ 是一个 $n \times n$ 矩阵。矩阵 $A$ 称为关于二次型的矩阵。 　　在某些情况下，二次型对应的矩阵是对角…
Read more

　　一个对称矩阵是一个满足 $A^\mathsf{T} = A$ 的矩阵 $A$，这种矩阵是方阵，其主对角线元素是任意的，但其他元素在主对角线的两边成对出现。 　　定理 1　如果 $A$ 是对称矩阵，那么不同特征空间的任意两个特征向量是正交的。 　　设 $\boldsymbol v_1, \boldsymbol v_2$ 是对应于不同特征值 $\lambda_1, \lambda_2$ 的特征向量…
Read more

1. 加权最小二乘法 　　 　　设向量 $\boldsymbol y$ 的 $n$ 次观测值为 $y_1, \cdots, y_n$，且假设我们希望用属于 $\mathbb{R}^n$ 的特定子空间的一个向量 $\hat{\boldsymbol y}$ 逼近 $\boldsymbol y$。记 $\hat{\boldsymbol y}$ 的元素为 $\hat y_1, \cdots, \hat y…
Read more

　　定义　向量空间 $V$ 上的內积是一个函数，对每一对属于 $V$ 的向量 $\boldsymbol u$ 和 $\boldsymbol v$，存在一个实数 $\langle\boldsymbol u, \boldsymbol v\rangle$，满足下面公理，其中 $\boldsymbol u, \boldsymbol v, \boldsymbol w$ 属于 $V$，$c$ 为任意数： 1….
Read more

　　将 $A \boldsymbol x = \boldsymbol b$ 写成 $X \boldsymbol \beta = \boldsymbol y$，其中 $X$ 称为设计矩阵，$\boldsymbol \beta$ 为参数向量，$\boldsymbol y$ 为观测向量。 1. 最小二乘直线 　　变量 $x$ 和变量 $y$ 之间最简单的关系是线性方程 $y = \beta_0 + \b…
Read more

　　当方程组 $A \boldsymbol x = \boldsymbol b$ 的解不存在，但又需要求解时，最好的方法是寻找一个使 $A \boldsymbol x$ 尽可能接近 $\boldsymbol b$ 的 $\boldsymbol x$。 　　考虑 $A \boldsymbol x$ 作为 $\boldsymbol b$ 的一个近似。$\boldsymbol b$ 和 $A \bold…
Read more

　　格拉姆-施密特方法是为 $\mathbb{R}^n$ 中任意非零子空间构造正交基或标准正交基的简单算法。 　　定理 11（格拉姆-施密特方法）对 $\mathbb{R}^n$ 的子空间 $W$ 的一个基 $\{\boldsymbol x_1, \cdots, \boldsymbol x_p\}$，定义 \begin{align} \boldsymbol v_1 &= \…
Read more