源代码机器学习之支持向量算法实现-peaker.pdfVIP

#源代码#机器学习之支持向量机算法实现

Peaker

有些人认为支持支持向量机svm是最好的现成的分类器，这里说

的现成是指分类器不加修改即可直接使用。同时，这就意味着在数据

上应用基本形式的svm分类起就可以得到低错误率的结果。smv能够

对训练集之外的数据点做出很好的分类判别。

在这里我们介绍一下svm的基本概念，以及代码实现方法。

在svm中采用的上最大间隔分割数据，他的优点谁泛化错误率

低，计算开销不大，结果容易解释，但是他的缺点上对参数调节和核

函数选择敏感，原始分类器不加修改仅适用于处理二分类问题。svm

适用的数据类型是数值型和标称型数据。

在介绍svm之前我们要先理解一些概念。例如下图所示

在上图的数据点分布中，我们要考虑的问题是如何画出一条直线

将圆形点喝方形点区分开。如图所示，他们已经分的足够开了，因此

很容易通过一条直线将她们区分。在这种数据中我们称之为线性可分

数据。但是仍有一些数据类型无法通过一条直线进行区分和判别，例

如下面四个例子，我们称之为线性不可分数据。

上述数据分隔开的直线称为分割超平面，由于例子中的数据点都

是在二维平面的，所以此时分割超平面就是一条直线。但是如果给出

的数据是三维的，那么此时的分割超平面就是一个真正的平面了。我

们希望可以采用这种方式来构建分类器，即如果数据点离决策边界越

远，那么其最后的预测结果也越可信。在两组数据中间存在无数个几

何超平面，那么哪一个才是最好的呢？我们希望可以找到里分割超平

面最近的点，确定他们离分割面多距离尽可能的远。这里分割面的距

离称为间隔。那么我们的问题就升级为寻找最大间隔。

如

何求解数据集的最佳分割直线？来的例子

分割超平面的形式可以写成wTx+b.要计算a点到分割超平面的

距离，就必须给出分割面的法线或垂线的长度，该值为|wTx+b|/

||w||。这里向量w和b描述了所给数据点分割线或超平面。

在svm分类器中实现寻找分割超平面的原理类似于logistic逻辑

回归，代码如下

通过识别分割超平面，我们就可以进行简单的二分类问题，调用

svm的代码如下

但是到目前为止我们也只是实现了构建svm分类器，通过训练样

本计算分割超平面，然后对测试样本进行预测，这一原始的简单分类

器目前还只能在二分类问题上进行实现，如果想处理更高级更复杂的

问题，或者要提高精度，那么更进一步多优化则是必要的。

喜欢本文吗？欢迎加入云生信跟大家一起进步~