- 1、本文档共8页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
SVM分类器.ppt
SVM算法实现 凸二次规划和线性可分 * * S310060024于义雪 理论概要 算法实现 总结 参考文献 基本 综述 持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。它是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的,根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷,以期获得最好的推广能力。 所谓VC维是对函数类的一种度量,可以简单的理解为问题的复杂程度,VC维越高,一个问题就越复杂 。而SVM正是用来解决这个问题的,它基本不关乎维数的多少,和样本的维数无关(有这样的能力也因为引入了核函数 )。 机器学习本质上就是一种对问题真实模型的逼近 ,我们选择的模型与问题真实解之间究竟有多大差距,我们无法得知,因此统计学习引入了泛化误差界的概念,就是指真实风险应该由两部分内容刻画,一是经验风险,代表了分类器在给定样本上的误差 ;二是置信风险,代表了我们在多大程度上可以信任分类器在未知文本上分类的结果 ,第二部分是没有办法精确计算的,因此只能给出一个估计的区间,也使得整个误差只能计算上界,而无法计算准确的值(所以叫做泛化误差界,而不叫泛化误差)。 。 基本 综述 算法实现 总结 参考文献 理论概要 H是分类面,而H1和H2是平行于H,且过离H最近的两类样本的直线,H1与H,H2与H之间的距离就是几何间隔 此时正确分类时的目标函数和约束条件: 几何间隔与样本的误分次数间存在关系: ? 其中的δ是样本集合到分类面的间隔,R=max ||xi||? i=1,...,n,即R是所有样本中(向量长度最长的值(也就是说代表样本的分布有多么广) 从上式可以看出,误分次数的上界由几何间隔决定!几何间隔越大的解,它的误差上界越小 ,此最大化几何间隔成了我们训练阶段的目标 + + + + + + - - - - - H1 H H2 基本 综述 算法实现 总结 参考文献 两类分类问题,如个别点导致分类 非线性,转化成数学形式,一个带 约束的最小值的问题: 意思是说离分类面最近的样本点函数间隔也要比1大。如果要引入容错性,就给1这个硬性的阈值加一个松弛变量 。在这个问题中,自变量就是w,而目标函数是w的二次函数,所有的约束条件都是w的线性函数(xi代表样本,是已知的),这种规划为二次规划(Quadratic Programming,QP),而且可以更进一步的说,由于它的可行域是一个凸集(凸集是指有这么一个点的集合,其中任取两个点连一条直线,这条线上的点仍然在这个集合内部 ),因此它是一个凸二次规划。 + + + + + + - - - - - - H H2 H1 理论概要 基本 综述 算法实现 总结 参考文献 理论概要 凸规划问题,相应的拉格朗日函数表示为: 对应的Karush-Kuhn-Tucker条件为: 将上面约束方程带入拉格朗日函数就使原问题转换为对偶问题有相同解并去除了原变量的相关性(对偶定理) 基本 综述 算法实现 总结 参考文献 理论概要 现在假定存在一个从输入特征空间到K维空间的映射,SVM方法可用于在新的K维控件中设计超平面分类器,这就允许我们考虑在无限维空间中进行隐含映射。根据设计的分类器: 如上式,只有内积参与计算,如果该设计用在新的K维空间中,唯一的区别是有关的向量从原输入空间映射到K维,看起来复杂却是有一个简单的核函数可以表示原特征空间对应向量的内积。在模式识别中,核的典型例子有线性,多项式,径向基函数等。一旦采用了适当的核,隐含定义了到高维空间的映射,则前面的优化任务就成为: 由此生成的线性分类器为: 对于核函数的选择,目前还没有很好的指导原则,此外,任何使用内积的线性分类器都可以通过使用核,在高维的空间中隐含的执行 基本 综述 算法实现 总结 参考文献 理论概要 注意其中C的位置,也可以回想一下C所起的作用(表征你有多么重视离群点,C越大越重视,越不想丢掉它们)。不同的C,就意味着对每个样本的重视程度不一样,有些样本丢了也就丢了,这些就给一个比较小的C;而有些样本很重要,决不能分类错误,就给一个很大的C。然而实际使用的时候并没有这么极端,但一种很常用的变形可以用来解决分类问题中样本的“偏斜”问题。 其目标函数和条件可以如下表示: + + + + + + + + - - - - - 通过以上的实验结果表明,SVM分类器
您可能关注的文档
- mysqlexplain学习.ppt
- MySQL基础技能与原理――基本原理.ppt
- mysql基础语法.ppt
- MySQL数据库管理系统.ppt
- My_SQL数据库管理与应用_MySQL备份与恢复.ppt
- My数电实验课件_实验_TTL门的逻辑变换.ppt
- my由已知分布的随机抽样.ppt
- M加强Windows主机网络安全访问权限的管理.ppt
- NA分段低次插值.ppt
- NC.销售售前培训PPTUAP技术.ppt
- 大跨径预制T梁(大堤跨)吊装施工技术.pptx
- 2024年洛阳市偃师区发展和改革委员会招录2人《行政职业能力测验》高频考点、难点(答案详解版).docx
- 初探高校基建工程招标内部控制.pptx
- 2024年上犹县人民检察院检察官助理岗(一)招录2人《行政职业能力测验》高频考点、难点(含详细答案).docx
- 基于在线开放课程高职混合式教学效果的评估.pptx
- 延吉机场超强暴雪天气分析.pptx
- 旅游影响下的乡村重构研究进展.pptx
- 2024年湖南省科学技术协会文秘岗招录1人《行政职业能力测验》高频考点、难点(含详细答案).docx
- 温度对白菜废弃物青贮发酵品质的影响及微生物多样性分析.pptx
- BIM技术在建设项目全过程应用价值分析.pptx
最近下载
- 2023年河西学院药学《药理学》科目期末试卷A(有答案).docx VIP
- 2023年海南师范大学体育教育专业《普通心理学》期末试卷A(有答案).docx VIP
- 2024年国开电大本科《流通概论》单项多项选择题库(附答案).pdf
- 2023年海南师范大学地理科学专业《普通心理学》期末试卷A(有答案).docx VIP
- 精品解析:广东省广州市黄埔区2022--2023学年七年级下学期期末考数学试题(解析版).docx VIP
- 企业安全生产费用提取和使用管理办法(课件).pptx
- 系统接口对接实施方案.docx VIP
- 2023年海南师范大学物理学专业《普通心理学》期末试卷A(有答案).docx VIP
- 2021智慧树答案【思想道德修养与法律基础(山东师范大学)】智慧树网课章节测试答案 .doc
- 商汤科技上市招股说明书.pdf
文档评论(0)