模式识别结课论文..doc

  1. 1、本文档共8页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
模式识别结课论文.

模式识别结课论文 题 目:模式识别中基于支持向量机算法分析 学 院: 电气工程与信息工程学院 专 业: 电气工程 姓 名: 学 号: 指导教师: 教授 1支持向量机 支持向量机是从线性可分情况下的最优分类面发展而来的,因此我们也从线性可分情况下的支持向量机思想开始讨论支持向量机的理论 1.1线性支持向量机 首先我们分析如下图的分类问题 图1线性可分分类问题 图1中包含两类共十个样本点,我们现在的目的是将其正确分开为两类,显然有许多直线能将两类样本点正确分开,所以我们需要讨论的是哪条分类直线更好一些。而最好的一条分类直线就是使分类间隔最大的直线,这条直线的求解方式如下。 首先我们假定分类直线方程为 (1.1) 我们定义过两类样本点中离分类线最近点平行分类线的直线为支持直线,则支持直线方程为 (1.2) 则两条支持直线之间的距离为,这样我们求最优分类线的问题就转化为求使取最大值的的问题。而分类问题的最基本要求是能够正确分类,因此样本点应该在如下区域中 (1.3) 这样我们可以得到如下的最优化问题 (1.4) 此时引入Lagrange函数得到 (1.5) 这样可以得到式(1.5)的对偶问题 (1.6) 这是一个凸规划问题,我们根据KKT条件,假设得到该对偶问题的解为,那么 (1.7) 选取中的一个正分量,据此计算 (1.8) 构造分类超平面,由此求得决策函数 (1.9) 其中 (1.10) 这就是线性可分支持向量机的基本原理。 1.2 非线性支持向量机 上面讨论的是最优和广义线性分类函数,要解决一个特征空间中的最优线性分类问题,我们只需知道这个空间中的内积运算即可。支持向量机的最主要特点还是解决非线性问题的能力,我们假设如下XOR问题 图2非线性分类问题 我们首先观察图2(a)中的分类问题,无法通过线性方法处理,因此我们需要寻找其他方法。假定,我们定义映射 (1.11) 这样我们可以得到四个样本点的如下映射 (1.12) 这样就形成了如图2(b)所示的空间关系,在这个三维空间上,分类问题成为了线性问题。这就是支持向量机处理非线性问题思想的简单表示,将该非线性问题通过函数映射到更高维的空间中,使其变为线性问题,继而在高维空间中进行线性规划。具体算法如下 给定训练集 (1.13) 选取适当的从欧氏空间到Hilbert空间的变换,以及惩罚参数C>0。构造并求解如下的凸二次规划问题 (1.14) 得解,选取,得到 (1.15) 从而得到决策函数,其中。 1.3 核函数 我们在分析非线性支持向量机思想时,很容易发现变换在算法中的作用完全是通过内积和实现的,换句话说,变换总是以内积的形式出现,因此函数是很重要的,只要选定了该函数,则并不需要考虑变换而仍然可以得到决策函数。我们称这个函数为核函数。将核函数引入支持向量机之后,可以将式(1.14)改为如下的最优化问题 (1.16) 得到的决策函数中 这就是标准支持向量机(SVM),我们所讨论的支持向量机就是这个模型。 核函数的选取是支持向量机算法中十分重要的内容,只要满足mercer条件的函数均可以作为核函数使用,目前使用比较多的核函数有: 线性核函数:K(x,y) = x*y; 径向基核函数:K(x,y) = ; 2 支持向量机分类算法的实现 支持向量机算法是在训练样本的特征空间求取能把两类样本没有错误分开的最大间隔超平面,在数学上表示为一个凸二次规划的问题。也可以说算法求解的主要内容是通过求解二次规划(QP)问题,这个优化问题的求解是支持向量机算法的核心,可以说支持向量机的算法就得到了实现。前面所述支持向量机算法可以表示为在式(2.2)和式(2.3)的约束下求式(2.1)取最小值时的拉格朗日乘子 为训练样本的个数。 (2.1)

您可能关注的文档

文档评论(0)

jiulama + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档