机器学习数学基础：SVM优化问题建模与分析.pdfVIP

1背景介绍：以SVM为例

本章讲义，SVM部分主要参考[1]，优化理论部分主要参考[2,3]。

1.1SVM优化问题建模

给定训练样本集D={(x,y),(x,y),...,(x,y)},y∈{−1,+1}。现在希望根据训练

1122nni

样本集D学个线性分类函数，使得不同类别的样本被分开。在高中，这样一个

线性分类函数的图形是个超平面。如图1所示，哪一个超平面会有比较好的泛化性能呢？

图1:给定两类训练样本，能够将它们区分的超平面存在多个

而言，位于两类样本“正中间”的超平面，因为到训练样本有一定距离而具备对

训练样本的噪声的度，所以对于噪声最具鲁棒性。上，噪声是必然存在的。测试

样本，由于噪声因素可能位于训练样本的类别间隔之间，间隔较小的超平面将因此产生分

类错误，而正中间的分类平面受影响最小。为了使用数学表达这一认识，我们对其进

行建模。

在给定的样本空间，超平面的数学描述为线性方程