(2.2)--实验2 分类器的超参数优化-SVM分类器.pdfVIP

实验2分类器的超参数优化

CONTENTSPAGE

1SVM分类器原理

2超参数优化

3程序演示

4实验结果分析

1SVM分类器原理

一个样本有d个特征，用=(,,⋯,)表示。给定训练

12

集=x,,x,,⋯,x,，∈−1,+1,x∈R

1122

在维样本空间中，划分超平面可通过如下线性方程来描述：

x=wx+=0

其中w=,,⋯,为法向量，决定了超平面的方向，

12

为位移项，决定了超平面与原点之前的距离。

最好的划分超平面就是使间隔最大的超平面。线性可分情况下，支持向量机的基

本公式：1

mw2

w,2

s.t.(wx+)≥1,=1,2,⋯,.

3

1SVM分类器原理

对于线性不可分情况，可以适当增加数据的维度，将数据映射到一个新的空间，形成

新的样本数据，使其能够线性可分。核函数则是为了避免高维空间上的内积计算，在

原始样本空间中通过核函数计算实现特征升维的作用。

常用的核函数：

①线性核：x,x=xx

②多项式核：x,x=xx

2

x−x

③高斯核(σ0)：x,x=exp−

22

x−x

④拉普拉斯核(σ0)：x,x=exp−

⑤sigmoid核(β0,θ0)：x,x=tanh(xx+)

4

1SVM分类器原理

在实际的SVM求解过程中，很难确定合适的核函数使得训练样本在特征空间中线性

可分。为处理不可分问题，引入松弛变量{ξ=0}到分离超平面的定义中：