Monthly Archive: 9月 2020

  在线性回归问题中，给定训练样本 $D = \{(\boldsymbol x_1, y_1), (\boldsymbol x_2, y_2), \dots, (\boldsymbol x_m, y_m)\}$，$y_i \in \mathbb{R}$，我们希望找到一个模型 $$ f(\boldsymbol x) = \boldsymbol w^\mathrm{…
Read more

1. 软间隔支持向量机   实际问题中，往往不能事先知道样本在特征空间中是否线性可分；即便线性可分，这也可能是发生了过拟合。   软间隔（soft margin）的支持向量机允许在一些样本上出错，即不满足约束条件 $$ y_i(\boldsymbol w^\mathrm{T} \boldsymbol x_i + b) \geq 1 \tag{1} $$ 在原…
Read more

1. 一个例子   假设 $\phi(\boldsymbol x)$ 是二阶多项式映射，将二维的样本空间映射到三维的特征空间，即 $$ \phi(\boldsymbol x) = \phi\bigg( \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \bigg) = \begin{bmatrix} x_1^2 \&#92…
Read more