机器学习课件-9.SVM.pdfVIP

法律声明  本课件包括演示文稿、示例、代码、题库、视频和 声音等内容，小象学院和主讲老师拥有完全知识产 权的权利；只限于善意学习者在本课程使用，不得 在课程范围外向任何第三方散播。任何其他人或机 构不得盗版、复制、仿造其中的创意及内容，我们 保留一切通过法律手段追究违反者的权利。  课程详情请咨询  微信公众号：小象  新浪微博：ChinaHadoop 互联网新技术在线教育领航者 1/56 支持向量机 邹博 主要内容和目标  理解支持向量机SVM 的原理和目标  掌握支持向量机的计算过程和算法步骤  理解软间隔最大化的含义  对线性不可分的数据给出(略有错误) 的分割面  线性可分的数据需要使用“软间隔”目标函数 吗？  了解核函数的思想  了解SMO算法的过程 互联网新技术在线教育领航者 3/56 各种概念  线性可分支持向量机  硬间隔最大化hard margin maximization  硬间隔支持向量机  线性支持向量机  软间隔最大化soft margin maximization  软间隔支持向量机  非线性支持向量机  核函数kernel function  注：以上概念的提法，各个文献并不十分统一。 互联网新技术在线教育领航者 4/56 分割超平面  设C和D 为两不相交的凸集，则存在超平面P ， P 可以将C和D 分离。  两个集合的距离，定义为两 个集合间元素的最短距离。  做集合C和集合D最短线段 的垂直平分线。 互联网新技术在线教育领航者 5/56 分割超平面的思考  如何定义两个集合的“最优”分割超平面？  找到集合“边界”上的若干点，以这些点为 “基础”计算超平面的方向；以两个集合边界 上的这些点的平均作为超平面的“截距”  支持向量：support vector  若两个集合有部分相交，如何定义超平面， 使得两个集合“尽量”分开？ 互联网新技术在线教育领航者 6/56 线性分类问题 互联网新技术在线教育领航者 7/56 输入数据  假设给定一个特征空间上的训练数据集 T={(x ,y ), (x ,y )…(x ,y )} 1 1 2 2 N N n  其中，x ∈R ，y ∈{+1,-1}，i=1,2,…N 。 i i  x 为第i个实例(若n1 ，x 为向量) ； i i  y 为x 的类标记； i i  当y =+1 时，称x 为正例； i i  当y =-1时，称x 为负例； i i  (x ,y )称为样本点。 i i 互联网新技术在线教育领航者 8/56 线性可分支持向量机  给定线性可分训练数据集，通过 间隔最大化得到的分离超平面为   T  