[ML Notes] SVM：回归
在线性回归问题中，给定训练样本 $D = \{(\boldsymbol x_1, y_1), (\boldsymbol x_2, y_2), \dots, (\boldsymbol x_m, y_m)\}$，$y_i \in \mathbb{R}$，我们希望找到一个模型 $$ f(\boldsymbol x) = \boldsymbol w^\mathrm{…
Read more
[ML Notes] SVM：软间隔
1. 软间隔支持向量机 实际问题中，往往不能事先知道样本在特征空间中是否线性可分；即便线性可分，这也可能是发生了过拟合。 软间隔（soft margin）的支持向量机允许在一些样本上出错，即不满足约束条件 $$ y_i(\boldsymbol w^\mathrm{T} \boldsymbol x_i + b) \geq 1 \tag{1} $$ 在原…
Read more
[ML Notes] SVM：核函数
1. 一个例子 假设 $\phi(\boldsymbol x)$ 是二阶多项式映射，将二维的样本空间映射到三维的特征空间，即 $$ \phi(\boldsymbol x) = \phi\bigg( \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \bigg) = \begin{bmatrix} x_1^2 \\…
Read more
[ML Notes] SVM：非线性模型
前文假设样本是线性可分的。如果在原始样本空间内，不能存在能够正确划分两类样本的超平面，则可以将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。 假设将样本 $\boldsymbol{x}$ 映射到特征空间后，得到的特征向量为 $\phi(\boldsymbol{x})$，则在特征空间中的划分超平面对应的模型为 $$ f(\…
Read more
[ML Notes] SVM：线性模型
1. 基本型 对于给定样本集 $D = \{(\boldsymbol x_1, y_1), (\boldsymbol x_2, y_2), \dots, (\boldsymbol x_m, y_m)\}$，$y_i \in \{-1, +1\}$，SVM 试图在两类样本的正中间找到一个超平面，来将两类样本分开。所谓正中间指的是，样本集中距离超…
Read more
[ML Notes] 拉格朗日函数：对偶性
1. 原始问题 假设 $f(\boldsymbol{x})$、$g_i(\boldsymbol{x})$、$h_i(\boldsymbol{x})$ 式定义在 $\mathbb{R}^n$ 上的连续可微函数，对于约束最优化问题 $$ \begin{aligned} \min_\boldsymbol{x \in \mathbb{R}^n} \; & f(\boldsy…
Read more
[ML Notes] 拉格朗日函数：不等式约束
1. 直观解释 以二元函数为例，要寻找 $f(x, y)$ 在约束条件 $h(x, y) \leq 0$ 下的极值，即 $$ \begin{aligned} \min \; & f(x, y) \\ \mathrm{s.t.} \; & h(x, y) \leq 0 \end{aligned} \tag{1} $$ 令…
Read more
[ML Notes] 拉格朗日函数：直观解释
$$ \begin{aligned} \min \; & f(x, y) \\ \text{s.t.} \; & g(x, y) = 0 \end{aligned} \tag{1} $$ 假设 $f(x, y)$ 在 $(x_0, y_0)$ 处取得极值 $z$，则在该处，$f(x, y) = z$ 和 $g(x, y) = 0$ 两条曲线应…
Read more
[ML Notes] 拉格朗日函数：推导过程
1. 推导过程 以二元函数为例，要寻找 $f(x, y)$ 在约束条件 $g(x, y) = 0$ 下的极值，如 $$ \begin{aligned} \min \; & f(x, y) \\ \text{s.t.} \; & g(x, y) = 0 \end{aligned} \tag{1} $$ 假设 $f(x, …
Read more
[ML Notes] PCA：最近重构性
如前文所述，主成分分析通过将样本点投影到一个超平面上来实现降维，可以从最大可分性或最近重构性两个角度寻找理想的超平面。 从最近重构性的角度考虑，假设数据集有 $m$ 个 $n$ 维的样本点 $\boldsymbol x_1, \boldsymbol x_2, \dots, \boldsymbol x_m$，要将它们投影到 $d$ 维的超平面 $D$ …
Read more