Machine Learning

[ML Notes] SVM:软间隔

1. 软间隔支持向量机   实际问题中,往往不能事先知道样本在特征空间中是否线性可分;即便线性可分,这也可能是发生了过拟合。   软间隔(soft margin)的支持向量机允许在一些样本上出错,即不满足约束条件 $$ y_i(\boldsymbol w^\mathrm{T} \boldsymbol x_i + b) \geq 1 \tag{1} $$ 在原…
Read more

[ML Notes] SVM:非线性模型

  前文假设样本是线性可分的。如果在原始样本空间内,不能存在能够正确划分两类样本的超平面,则可以将样本从原始空间映射到一个更高维的特征空间,使得样本在这个特征空间内线性可分。   假设将样本 $\boldsymbol{x}$ 映射到特征空间后,得到的特征向量为 $\phi(\boldsymbol{x})$,则在特征空间中的划分超平面对应的模型为 $$ f(\…
Read more

[ML Notes] SVM:线性模型

1. 基本型   对于给定样本集 $D = \{(\boldsymbol x_1, y_1), (\boldsymbol x_2, y_2), \dots, (\boldsymbol x_m, y_m)\}$,$y_i \in \{-1, +1\}$,SVM 试图在两类样本的正中间找到一个超平面,来将两类样本分开。所谓正中间指的是,样本集中距离超…
Read more

[ML Notes] PCA:最近重构性

  如前文所述,主成分分析通过将样本点投影到一个超平面上来实现降维,可以从最大可分性或最近重构性两个角度寻找理想的超平面。   从最近重构性的角度考虑,假设数据集有 $m$ 个 $n$ 维的样本点 $\boldsymbol x_1, \boldsymbol x_2, \dots, \boldsymbol x_m$,要将它们投影到 $d$ 维的超平面 $D$ …
Read more