Tag Archive: SVM

  在线性回归问题中，给定训练样本 $D = \{(\boldsymbol x_1, y_1), (\boldsymbol x_2, y_2), \dots, (\boldsymbol x_m, y_m)\}$，$y_i \in \mathbb{R}$，我们希望找到一个模型 $$ f(\boldsymbol x) = \boldsymbol w^\mathrm{…
Read more

1. 软间隔支持向量机   实际问题中，往往不能事先知道样本在特征空间中是否线性可分；即便线性可分，这也可能是发生了过拟合。   软间隔（soft margin）的支持向量机允许在一些样本上出错，即不满足约束条件 $$ y_i(\boldsymbol w^\mathrm{T} \boldsymbol x_i + b) \geq 1 \tag{1} $$ 在原…
Read more

1. 一个例子   假设 $\phi(\boldsymbol x)$ 是二阶多项式映射，将二维的样本空间映射到三维的特征空间，即 $$ \phi(\boldsymbol x) = \phi\bigg( \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \bigg) = \begin{bmatrix} x_1^2 \&#92…
Read more

  前文假设样本是线性可分的。如果在原始样本空间内，不能存在能够正确划分两类样本的超平面，则可以将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。   假设将样本 $\boldsymbol{x}$ 映射到特征空间后，得到的特征向量为 $\phi(\boldsymbol{x})$，则在特征空间中的划分超平面对应的模型为 $$ f(\…
Read more

1. 基本型   对于给定样本集 $D = \{(\boldsymbol x_1, y_1), (\boldsymbol x_2, y_2), \dots, (\boldsymbol x_m, y_m)\}$，$y_i \in \{-1, +1\}$，SVM 试图在两类样本的正中间找到一个超平面，来将两类样本分开。所谓正中间指的是，样本集中距离超…
Read more