- 1、本文档共45页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
----线性判别函数
模式识别理论及应用Pattern Recognition - Methods and Application 第四章 线性判别函数 内容目录 4.1 引言 基于样本的Bayes分类器:通过估计类条件概率密度函数,设计相应的判别函数 直接确定判别函数 基于样本的直接确定判别函数方法: 针对各种不同的情况,使用不同的准则函数,设计出满足这些不同准则要求的分类器。 这些准则的“最优”并不一定与错误率最小相一致:次优分类器。 实例:正态分布最小错误率贝叶斯分类器在特殊情况下,是线性判别函数g(x)=wTx(决策面是超平面),能否基于样本直接确定w? 线性判别函数 d维空间中的线性判别函数的一般形式: 线性判别函数的几何意义 决策面(decision boundary)H方程:g(x)=0 向量w是决策面H的法向量 g(x)是点x到决策面H的距离的一种代数度量 广义线性判别函数 线性判别函数是形式最为简单的判别函数,但是它不能用于复杂情况。 例:设计一个一维分类器,使其功能为: 广义线性判别函数(2) 按照上述原理,任何非线性函数g(x)用级数展开成高次多项式后,都可转化成线性判别函数来处理。 一种特殊映射方法:增广样本向量y与增广权向量a 线性分类器设计步骤 线性分类器设计任务:给定样本集K,确定线性判别函数g(x)=wTx的各项系数w。步骤: 收集一组样本K={x1,x2,…,xN} 按需要确定一准则函数J(K,w),其值反映分类器的性能,其极值解对应于“最好”决策。 用最优化技术求准则函数J的极值解w*,从而确定判别函数,完成分类器设计。 4.2 Fisher线性判别 线性判别函数y=g(x)=wTx: 样本向量x各分量的线性加权 样本向量x与权向量w的向量点积 如果|| w ||=1,则视作向量x在向量w上的投影 Fisher准则的基本原理:找到一个最合适的投影轴,使两类样本在该轴上投影之间的距离尽可能远,而每一类样本的投影尽可能紧凑,从而使分类效果为最佳。 Fisher线性判别图例 d维空间样本分布的描述量 各类样本均值向量mi 一维Y空间样本分布的描述量 各类样本均值 样本与其投影统计量间的关系 样本x与其投影y的统计量之间的关系: 样本与其投影统计量间的关系 Fisher准则函数 评价投影方向w的原则,使原样本向量在该方向上的投影能兼顾类间分布尽可能分开,类内样本投影尽可能密集的要求 Fisher准则函数的定义: Fisher最佳投影方向的求解 采用拉格朗日乘子算法解决 判别函数的确定 前面讨论了使Fisher准则函数极大的d维向量w*的计算方法,判别函数中的另一项w0(阈值)可采用以下几种方法确定: Fisher公式的推导 4.3 感知器准则 感知准则函数是五十年代由Rosenblatt提出的一种自学习判别函数生成方法,由于Rosenblatt企图将其用于脑模型感知器,因此被称为感知准则函数。其特点是随意确定的判别函数初始值,在对样本分类训练过程中逐步修正直至最终确定。 基本概念 感知器:Perceptron,Rosenblatt,50d/20thc 线性可分性:训练样本集中的两类样本在特征空间可以用一个线性分界面正确无误地分开。在线性可分条件下,对合适的(广义)权向量a应有: 解向量与解区 感知器准则函数 对于任何一个增广权向量a , 对样本y正确分类,则有:aTy0 对样本y错误分类,则有:aTy0 定义一准则函数JP(a) (感知准则函数): 梯度下降算法 梯度下降算法:对(迭代)向量沿某函数的负梯度方向修正,可较快到达该函数极小值。 算法(step by step) 感知器方法例解 固定增量法与可变增量法 批量样本修正法与单样本修正法 单样本修正法:样本集视为不断重复出现的序列,逐个样本检查,修正权向量 批量样本修正法:样本成批或全部检查后,修正权向量 感知器方法小结 感知准则函数方法的思路是:先随意找一个初始向量a(1),然后用训练样本集中的每个样本来计算。若发现一个y出现aTy0,则只要a(k+1) = a(k) + rky,rk为正(步长系数),则必有a(k+1)Ty = a(k)Ty + rkyTy,就有趋势做到使a(k+1)Ty 0。当然,修改后的a(k+1)还可以使某些y出现a(k+1)Ty 0的情况,理论证明,只要训练样本集线性可分,无论a(1)的初值是什么,经过有限次叠代,都可收敛。 4.4 最小平方误差准则 规范化增广样本向量yi,增广权向量a,正确分类要求: aTyi0, i=1,…,N 线性分类器设计?求一组N个线性不等式的解 样本集增广矩阵Y及一组N个线性不等式的的矩阵表示: 平方误差准则函数 定义误差向量 e=Ya-b: 定义平方误差准则函数Js(a): MSE准
文档评论(0)