- 1、本文档共6页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
支持向量机算法介绍
支持向量机算法介绍
众所周知,统计模式识别、线性或非线性回归以及人工神经网络等方法是数据挖掘的有效工具,已随着计算机硬件和软件技术的发展得到了广泛的应用。
但多年来我们也受制于一个难题:传统的模式识别或人工神经网络方法都要求有较多的训练样本,而许多实际课题中已知样本较少。对于小样本集,训练结果最好的模型不一定是预报能力最好的模型。因此,如何从小样本集出发,得到预报(推广)能力较好的模型,遂成为模式识别研究领域内的一个难点,即所谓“小样本难题”。支持向量机(support vector machine,简称SVM)算法已得到国际数据挖掘学术界的重视,并在语音识别、文字识别、药物设计、组合化学、时间序列预测等研究领域得到成功应用。
1、线性可分情形
SVM算法Optimal Hyperplane)提出的。所谓最优分类面就是要求分类面不但能将两类样本点无错误地分开,而且要使两类的分类空隙最大。
设线性可分样本集为,,,d维空间中线性判别函数的一般形式为
,
分类面方程是
,
我们将判别函数进行归一化,使两类所有样本都满足,此时离分类面最近的样本的,而要求分类面对所有样本都能正确分类,就是要求它满足
。 (4)
式(4)中使等号成立的那些样本叫做支持向量(Support Vectors)。两类样本的分类空隙(Margin)的间隔大小:
Margin=(5)
因此,最优分类面问题可以表示成如下的约束优化问题,即在条件(4)的约束下,求函数
(6)
的最小值。为此,可以定义如下的Lagrange函数:
(7)
其中,为Lagrange系数,我们的问题是对w和b求Lagrange函数的最小值。把式(7)分别对w、b、求偏微分并令它们等于0,得:
以上三式加上原约束条件可以把原问题转化为如下凸二次规划的对偶问题:
(8)
这是一个不等式约束下二次函数机制问题,存在唯一最优解。若为最优解,则
(9)
不为零的样本即为支持向量,因此,最优分类面的权系数向量是支持向量的线性组合。
b*可由约束条件求解,由此求得的最优分类函数是 :
(10)
sgn()为符号函数。
2、线性不可分情形
当用一个超平面不能把两类点完全分开时(只有少数点被错分),可以引入松弛变量(≥0, ),使超平面满足:
(11)
当01时样本点xi仍旧被正确分类,而当≥1时样本点xi被错分。为此,引入以下目标函数:
(12)
其中C是一个正常数,称为惩罚因子,此时SVM可以通过二次规划(对偶规划)来实现:
(13)
3、支持向量机(SVM)的核函数
若在原始空间中的简单超平面不能得到满意的分类效果,则必须以复杂的超曲面作为分界面,SVM算法是如何求得这一复杂超曲面的呢?
首先通过非线性变换将输入空间变换到一个高维空间,然后在这个新空间中求取最优线性分类面,而这种非线性变换是通过定义适当的核函数(内积函数)实现的,令:
(14)
用核函数代替最优分类平面中的点积,就相当于把原特征空间变换到了某一新的特征空间,此时优化函数变为:
(15)
而相应的判别函数式则为:
(16)
其中为支持向量,为未知向量,(16)式就是SVM,在分类函数形式上类似于一个神经网络,其输出是若干中间层节点的线性组合,而每一个中间层节点对应于输入样本与一个支持向量的内积,因此也被叫做支持向量网络,如图1
由于最终的判别函数中实际只包含未知向量与支持向量的内积的线性组合,因此识别时的计算复杂度取决于支持向量的个数。
目前常用的核函数形式主要有以下三类,它们都与已有的算法有对应关系。
多项式形式的核函数,即,对应SVM是一个q阶多项式分类器。
(2) 径向基形式的核函数,即,对应SVM是一种径向基函数分类器。
S形核函数,如 则SVM实现的就是一个两层的感知器神经网络,只是在这里不但网络的权值、而且网络的隐层节点数目也是由算法自动确定的。
您可能关注的文档
- 微通道换热器-why.doc
- 微量元素与饮水健康.docx
- 德国大众零部件编号规则.doc
- 微分方程模型01.doc
- 微观经济学收益最大原理.doc
- 微货长安神骐柴油版温情上市领军微货市场.doc
- 微生物工程复习tz.doc
- 德国赛通电气无功补偿装置优势.doc
- 德语不规则动词变位规律表.doc
- 德语不规则变化规则总结.docx
- 全国青少年(毒品预防教育)知识考试题库与答案 .pdf
- 2023年山东胶州市领军计划自主招生历史试题真题(含答案详解) .pdf
- 【人教版八年级生物】第六单元 第二章 认识生物的多样性 .pdf
- 冀人版-第三单元 电(提升卷)-四年级科学上册单元培优进阶练.docx
- 新郑市事业单位统考真题 .pdf
- 冀人版-第三单元动物的生长与繁殖(单元测试)四年级下册科学.docx
- CLCN4基因变异相关癫痫的临床表型及基因变异特点 .pdf
- 【《“双减”背景下小学中年级语文自主阅读策略探究》6500字】 .pdf
- 高一语文开学第一课+课件+2024-2025学年统编版高中语文必修上册 .pdf
- 密山市事业单位统考真题 .pdf
文档评论(0)