基于支持矢量机(SVM)的iris数据集分类.pdf

西安电子科技大学 机器学习大作业报告 题 目：基于SVM 的iris 数据集分类 学 院：电子工程学院 专 业：电子与通信工程 学 号：1302121508 姓 名：彭正林 SVM 支持向量机（SVM ）是 90 年代中期发展起来的基于统计学习理论的一种机 器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和 置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规 律的目的。它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的 线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二 次规划问题的求解。 1.1、线性分类 1.1.1、分类标准 这里我们考虑的是一个两类的分类问题，数据点用x 来表示，这是一个n 维 向量，而类别用y 来表示，可以取1 或者-1，分别代表两个不同的类。一个线性 分类器的学习目标就是要在n 维的数据空间中找到一个分类超平面，其方程可以 表示为： T w x b 0 1.2、线性分类的一个例子 下面举个简单的例子，一个二维平面(一个超平面，在二维空间中的例子就 是一条直线)，如下图所示，平面上有两种不同的点，分别用两种不同的颜色表 示，一种为红颜色的点，另一种则为绿颜色的点，蓝颜色的线表示一个可行的超 平面。 我们令分类函数 T ，显然，如果f (x ) 0 ，那么x 是位于超平面上 f (x ) w x b 的点。我们不妨要求对于所有满足f (x)  0 的点，其对应的y 等于-1，而f (x) 0 则对应y=1 的数据点。在进行分类的时候，将数据点x 代入f (x ) 中，如果得到的 结果小于 0 ，则赋予其类别-1，如果大于0 则赋予类别 1 。如果f (x) 0 ，则 很难办了，分到哪一类都不是。 为确定分类函数f (x)  wT x b 中的参数w 和b，于是寻找最大分类间隔，导 1 2 出 ，继而引入拉格朗日函数，化为对单一因子对偶变量 的求解，如此， w  2 求w 、b 与求 等价，而求 的解法即为SMO 。把求分类函数 T 的   f (x)  w x b 问题转化求最大分类间隔，继而再转化为对w 、b 的最优化问题，即凸二次规划 问题。 1.3、函数间隔 Functional margin 与几何间隔 Geometrical margin 一般而言，一个点距离超平面的远近可以表示为分类预测的确信或准确程度。 在超平面 T 确定的情况下， T 能够相对的表示点 x 到距离超平 w x b  0 | w x b | 面的远近，而 T 的符号与类标记y 的符号是否一致表示分类是否正确，所 w x b 以，可以用量y(wT x b) 的正负性来判定或表示分类的正确性和确信度。 1.3.1、函数间隔 Functional margin 定义函数间隔 functional margin 为： ^ T