- 1、本文档共27页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
第8章支持向量机
目录CONTENTS8.1SVM简介8.2线性SVM算法实现8.3非线性SVM与核函数8.4SVM回归8.5SVM算法实现8.6本章小结
8.1SVM简介学习基础学习认知能力信息素养高支持向量机是Cortes和Vapnik于1995年提出的一种基于统计学习的二分类模型。它是一种监督学习方法,在学习过程中通过最大化分类间隔使得结构风险最小化。从图8-2可以看出,能将不同样本分开的超平面有很多,但只有一条超平面位于两类样本的“正”中间,这个超平面通常用一个方程d(X)=0来表示,d(X)被称为判决函数或决策函数。图8-1所示是两类线性可分的样本数据分布及划分的示例。图中的线段就是对样本分隔的超平面。
8.1SVM简介1.感知机模型假设输入样本空间,输出空间是Y={+1,-1},输入样本表示样本的特征向量,即输入空间的样本点;输出表示样本的类别。从输入样本空间到输出样本空间的函数可表示为:该函数称为感知机(Perceptron),其中,称为权值(Weight)或权值向量(WeightVector),称为偏置(Bias),sign为符号函数,即
8.1SVM简介判决函数若f(x)0,则属于正例;若f(x)0,则属于负例。在特征空间中,令判决函数g(x)=,线性方程是一个超平面S,其中w是超平面的法向量,b是超平面的截距。这个超平面将特征空间划分为两部分,这两部分的样本点分别被分成正、负两例,超平面S就是分离超平面。
8.1SVM简介2模型参数学习任意一点(x,y)到直线的距离为,因此二维样本点(x,y)到线性方程的距离为,其中,。,对于误分样本点(xi,yi),当时,有;当时,有。因此,于是误分样本点到超平面S的距离为:若超平面S的误分样本点个数为N,则误分样本点到超平面S的总距离为:
8.1SVM简介采用随机梯度下降法(StochasticGradientDescent,SGD)学习参数w和b:参数w和b的迭代更新公式:
8.1SVM简介输入:训练数据集D={(x1,y1),(x2,y2),…,(xN,yN)}、迭代次数、学习率,其中:,Y={+1,-1}。过程:(1)初始化参数:,b=0。(2)对于j=1,2,…,N,当为空集,即没有误分样本点,则结束循环,否则转到第(3)步执行。(3)任意取X中的样本点(xi,yi)更新参数。输出:感知机模型参数w和b,并利用计算分类的准确率。
8.1SVM简介利用以上感知机算法对样本进行分类,其散点图及分类结果如图8-4所示。
8.1SVM简介1.间隔最大化在对样本数据分类时,超平面离数据点的间隔越大,产生误差的可能性就会越小,也就是分类的确信度越大。因此,为了使分类的确信度尽可能高,需要让选择的超平面尽可能地最大化这个间隔。以最大间隔把两类样本分开的超平面,称之为最大间隔超平面。分类问题中的最大间隔、支持向量表示如图8-5所示。
8.1SVM简介支持向量就是离最大间隔超平面最近的样本点,根据前面得到的支持向量到超平面的距离为将上式进行变换,进而有:
8.1SVM简介SVM算法的目标就是最大化这个几何间隔d:间隔最大化问题就是求最优化问题:
8.1SVM简介这是一个凸二次规划问题,不容易求解,可用拉格朗日乘子法对其对偶问题进行求解。对上面的公式构造拉格朗日函数:其中,。原问题与对偶问题有相同的解:调整w和b,使拉格朗日函数取最小值。
8.1SVM简介将上式代入拉格朗日函数:下面调整参数,使目标函数取得最大值:对任意的支持向量(xs,ys),有:
8.1SVM简介输入:训练数据集D={(x1,y1),(x2,y2),…,(xN,yN)}、迭代次数、惩罚因子C、学习率,其中:,。过程:(1)初始化参数:,b=0。(2)对于j=1,2,…,N:①计算误差向量,其中。②取出误差最大的一项,即。③如果,则
您可能关注的文档
- 《Vue.js超详细入门与项目实战》课件全套 李永亮 第1--10章 vue 3简介 ---vue 3详解.pptx
- Python机器学习项目化教程(微课视频版) 教学大纲.pdf
- Python机器学习项目化教程(微课视频版)课件 第1章 机器学习概述.pptx
- Python机器学习项目化教程(微课视频版)课件 第2章 机器学习基础及Python常用库.pptx
- Python机器学习项目化教程(微课视频版)课件 第3章 朴素贝叶斯分类器.pptx
- Python机器学习项目化教程(微课视频版)课件 第4章 k近邻算法与非参数估计.pptx
- Python机器学习项目化教程(微课视频版)课件 第5章 聚类.pptx
- Python机器学习项目化教程(微课视频版)课件 第6章 回归分析.pptx
- Python机器学习项目化教程(微课视频版)课件 第7章 决策树.pptx
- Python机器学习项目化教程(微课视频版)课件 第9章 降维分析.pptx
文档评论(0)