周志华版《机器学习》第六章 知识点笔记.pdfVIP

周志华版《机器学习》第六章知识点笔记

核心主题：支持向量机（SupportVectorMachine,SVM）

SVM是基于统计学习理论的经典分类模型，核心思想是通过“最大间隔分离超平面”提升泛化

能力，通过“核技巧”处理非线性问题，在小样本、高维数据场景中表现优异。

6.1线性可分支持向量机（硬间隔SVM）

6.1.1核心目标：最大间隔分离超平面

1.超平面的数学表示

对于二维特征空间，线性超平面方程为：

w_1x_1+w_2x_2+b0

推广到d维特征空间，超平面方程为：

\boldsymbol{w}\cdot\boldsymbol{x}+b0

其中：

•\boldsymbol{w}(w_1,w_2,...,w_d)^T：超平面的法向量（决定超平面方向）；

•b：超平面的截距（决定超平面位置）；

•\boldsymbol{x}(x_1,x_2,...,x_d)^T：样本特征向量。

2.间隔的定义与最大化

•函数间隔：样本(\boldsymbol{x},y)到超平面的函数间隔为：

\hat{\gamma}_iy_i(\boldsymbol{w}\cdot\boldsymbol{x}_i+b)

（y_i\in\{+1,-1\}为样本标签，函数间隔符号反映样本是否被正确分类，绝对值反映距离）。

•几何间隔：函数间隔消除\boldsymbol{w}尺度影响后的真实距离，为：“”

\gamma_i\frac{\hat{\gamma}_i}{\|\boldsymbol{w}\|}\frac{y_i(\boldsymbol{w}\cdot

\boldsymbol{x}_i+b)}{\|\boldsymbol{w}\|}

\|\boldsymbol{w}\|\sqrt{w_1^2+w_2^2+...+w_d^2}\boldsymbol{w}L2

（为的范数）。

•最大间隔目标：找到\boldsymbol{w}和b，使最小几何间隔最大化（保证所有样本都被正确

分类，且间隔最大）：

\max_{\boldsymbol{w},b}\gamma\quad\text{s.t.}\quad\frac{y_i(\boldsymbol{w}\cdot

\boldsymbol{x}_i+b)}{\|\boldsymbol{w}\|}\geq\gamma\quad(i1,2,...,m)

3.目标函数的简化（转化为凸二次规划）

通过缩放\boldsymbol{w}和b（令\hat{\gamma}\gamma\|\boldsymbol{w}\|1，即最小函数

1

间隔为），目标函数可简化为：

\min_{\boldsymbol{w},b}\frac{1}{2}\|\boldsymbol{w}\|^2\quad\text{s.t.}\quad

y_i(\boldsymbol{w}\cdot\boldsymbol{x}_i+b)\geq1\quad(i1,2,...,m)

•这是一个凸二次规划问题（目标函数是凸函数，约束是线性不等式），有唯一最优解。

6.1.2对偶问题求解（关键：引入拉格朗日乘子）

1.构建拉格朗日函数

为求解带约束的优化问题，引入拉格朗日乘子\alpha_i\geq0（每个样本对应一个乘子），构

建拉格朗日函数：

\mathcal{L}(\boldsymbol{w},b,\alpha)\frac{1}{2}\|\boldsymbol{w}\|^2-\sum_{i1}^m

\alpha_i[y_i(\boldsymbol{w}\cdot\boldsymbol{x}_i+b)-1]

对偶变换（原问题对偶问题）

2.→

根据凸优化的对偶理论，原问题的最优解可通过求解对偶问题得到：

\max_{\alpha}\sum_{i1}^m\alpha_i-\frac{1}{2}\sum_{i1}^m\sum_{j1}^m\alpha_i

\alpha_jy_iy_j(\boldsymbol{x}_i\cdot\boldsymbol{x}_j)\quad\text{s.t.}\quad\sum_{i1}^m

\alpha_iy_i0,\quad\