SVM总结..doc

博士□ 基地班硕士□ 硕博连读研究生□ 兽医硕士专业学位□ 学术型硕士□ 工程硕士专业学位□ 农业推广硕士专业学位( 全日制专业学位硕士□ 同等学力在职申请学位□ 中职教师攻读硕士学位□ 高校教师攻读硕士学位□ 风景园林硕士专业学位□ 西 北 农 林 科 技 大 学 研 究 生 课 程 考 试 试 卷 封 面 （课程名称： 图像工程 ） 学位课□ 选修课( 研 究 生 年 级、姓 名 2014级 孙宏杰 研 究 生 学 号 2014051378 所 在 学 院（系、部） 信息工程学院 专 业 学 科 农业信息化 任 课 教 师 姓 名 宁纪锋 考 试 日 期 2014年1月20日 考 试 成 绩 评 卷 教 师 签 字 处 SVM学习 上了图像工程学这门课，我学习了SVM算法，并有了详细的认识。一下是我的学习总结和结果。 1 SVM概念 SVM为support vectors machine 的英文缩写,意既为支持向量机，是一种分类算法，是指通过训练学习，用超平面将数据分开，而位于超平面上的点既为支持向量，为对分类产生较大影响的点。 2线性分类 图1 二维线性分类 如上图既为线性分类的一个例子，红色的点为一类，蓝色的点为一类，中间的线即为分类超平面。线性分类的意思就是说，找出一条直线（一个超平面在二维中就是一条直线），将数据点分开。这个超平面假设为f(x)=wx+b（就好像高数上的直线一般式Ax+By+C=0)，在直线上方的则f(x)>0;在直线下方的则f(x)<0;在直线上的则f(x)=0。可以看到，其实这样的直线其实会有很多条，支持向量机思想的核心就是找到一条最优的直线，能将数据集分开。 我们不妨假设在超平面一边的点对应的标签y全为1，另一边的点对应的标签y全为-1。于是对于分类函数 （1） 我们有在超平面上为f(x)=0;在超平面上方f(x)>0，则对应标签y=1;在超平面下方f(x)<0,则对应标签y=-1; 此时图1可变为下图 图2 二维平面上线性分类问题的例子 这时，我们就可以更具超平面方程进行分类，将数据点带入超平面方程(1)中，若的到f(x)>0，则为正例样本，若得到f(x)<0，则为负例样本，若f(x)=0,则位于超平面上。 3函数间隔和几何间隔 上边介绍了SVM就是寻找一个超平面，使得数据点集可以分开。所以我们现在要做的就是如何寻找这样的超平面，如何确定w和b。同时我们还会发现这样的超平面有很多个，如何找到一个最好的超平面使得数据点集最好分开，效果最好。 我们都知道在二维平面上，点P（x0,y0)到直线Ax+By+C=0的直线距离为： （2） 我们定义函数间隔为： (3) 我们定义超平面f(x)关于训练集的T的函数间隔为T中所有训练的样本点（xi,yi)的函数间隔最小值。即 =min 。其实也就是说，函数间隔为将所有样本点带入超平面方程，得到最小的值即为函数间隔，也就是离超平面最近的点。 类似（2）的直线距离公式我们可以得到几何间隔距离为： (3) 因为f(x)有正负，所以是带符号的，而我们要的只是它的绝对值，因此，我们分别乘上对应的类别y即可，因此，实际的几何间隔变为： （4） 综上，函数间隔其实只是一个认为定义的间隔，而几何间隔才真正是样本集到超平面的距离。 支持向量机的目的就是找到最大几何间隔的超平面，使得分类效果最好，也即是求解最大的； (5) 由（4）式我们可知即求解,而由是函数间隔，可大可小，对结果不产生影响，故我们让=1，则即便为求解 （6） 然而因为