[ML Notes] SVM：非线性模型
前文假设样本是线性可分的。如果在原始样本空间内，不能存在能够正确划分两类样本的超平面，则可以将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。 假设将样本 $\boldsymbol{x}$ 映射到特征空间后，得到的特征向量为 $\phi(\boldsymbol{x})$，则在特征空间中的划分超平面对应的模型为 $$ f(\…
Read more
[ML Notes] SVM：线性模型
1. 基本型 对于给定样本集 $D = \{(\boldsymbol x_1, y_1), (\boldsymbol x_2, y_2), \dots, (\boldsymbol x_m, y_m)\}$，$y_i \in \{-1, +1\}$，SVM 试图在两类样本的正中间找到一个超平面，来将两类样本分开。所谓正中间指的是，样本集中距离超…
Read more
[ML Notes] 拉格朗日函数：对偶性
1. 原始问题 假设 $f(\boldsymbol{x})$、$g_i(\boldsymbol{x})$、$h_i(\boldsymbol{x})$ 式定义在 $\mathbb{R}^n$ 上的连续可微函数，对于约束最优化问题 $$ \begin{aligned} \min_\boldsymbol{x \in \mathbb{R}^n} \; & f(\boldsy…
Read more
[ML Notes] 拉格朗日函数：不等式约束
1. 直观解释 以二元函数为例，要寻找 $f(x, y)$ 在约束条件 $h(x, y) \leq 0$ 下的极值，即 $$ \begin{aligned} \min \; & f(x, y) \\ \mathrm{s.t.} \; & h(x, y) \leq 0 \end{aligned} \tag{1} $$ 令…
Read more
[ML Notes] 拉格朗日函数：直观解释
$$ \begin{aligned} \min \; & f(x, y) \\ \text{s.t.} \; & g(x, y) = 0 \end{aligned} \tag{1} $$ 假设 $f(x, y)$ 在 $(x_0, y_0)$ 处取得极值 $z$，则在该处，$f(x, y) = z$ 和 $g(x, y) = 0$ 两条曲线应…
Read more
[ML Notes] 拉格朗日函数：推导过程
1. 推导过程 以二元函数为例，要寻找 $f(x, y)$ 在约束条件 $g(x, y) = 0$ 下的极值，如 $$ \begin{aligned} \min \; & f(x, y) \\ \text{s.t.} \; & g(x, y) = 0 \end{aligned} \tag{1} $$ 假设 $f(x, …
Read more
[ML Notes] PCA：最近重构性
如前文所述，主成分分析通过将样本点投影到一个超平面上来实现降维，可以从最大可分性或最近重构性两个角度寻找理想的超平面。 从最近重构性的角度考虑，假设数据集有 $m$ 个 $n$ 维的样本点 $\boldsymbol x_1, \boldsymbol x_2, \dots, \boldsymbol x_m$，要将它们投影到 $d$ 维的超平面 $D$ …
Read more
[ML Notes] PCA：最大可分性
主成分分析（Principal Component Analysis，PCA）通过将样本点投影到一个超平面上来实现降维。理想的超平面应当具有： 最大可分性：样本点在这个超平面上的投影能尽可能分开，即最大化投影方差，在投影后保留最多的信息； 最近重构性：样本点到这个超平面的距离足够近，即最小化平方误差，通过投影可以最准确地重构出原始样本点。 首先从最大…
Read more
[ML Notes] 线性回归：正则化
1. L2 正则化，岭回归 对如前文所述的线性模型 $f(\boldsymbol{x})$ 和代价函数 $J(\boldsymbol{w})$ $$ f(\boldsymbol x) = w_0 + w_1 x_1 + w_2 x_2 + \cdots + w_n x_n = w_0 + \sum_{i=1}^n w_i x_i = \boldsymbol{w}^\math…
Read more
[ML Notes] Logistic 回归
1. 基本模型 Logistic 回归的基本形式为 $$ f(\boldsymbol{x}) = g(\boldsymbol{w}^\mathrm{T} \boldsymbol{x}) = \frac{1}{1 + e^{-\boldsymbol{w}^\mathrm{T} \boldsymbol{x}}} \tag{1} $$ 其中 $\boldsymbol{w}$ 为参…
Read more