模式识别 第三章 判别域代数界面方程法.ppt

从3.4节开始介绍第一步：利用训练样本求解权矢量，首先是用Fish判别的方法。 * F.Rosenblatt(USA), 1957 * 由上面的结果可以看出，经过对、、、一轮迭代后表明，使用已能对所有训练样本正确分类，增广权矢量的值不再变化，所以算法收敛于，就是所求的解向量，即。由此还可以得到区分界面为，即。 * 一次准则函数及梯度下降法也可以推广应用于多类问题。由于多类问题的第三种分类途径没有不确定区，我们只针对这种途径介绍感知器训练算法，其它算法是类似的。 （1)求解Fisher准则函数 取类间离差阵为 作变换，n维矢量 在以矢量 为方向的轴上进行投影 变换后在一维 y 空间中各类模式的均值为 i=1,2 i=1,2 类内离差度 和总的类内离差度 为 类间离差度为 　希望经投影后，类内离差度 越小越好，类间离差度 越大越好，根据这个目标作准则函数 并使其最大,上式称为Fisher准则函数。 利用二次型关于矢量求导的公式可得 令 可得 （2) 求解Fisher最佳鉴别矢量 当N较大时，SW通常是非奇异的,于是有 上式表明， 是矩阵 相应于特征值l的特征矢量。因此 称为Fisher最佳鉴别矢量，由上式有 上式右边后两项因子的乘积为一标量，令其为 ，于是可得 式中 为一标量因子，其不改变轴的方向，可以取为1,于是有 此时的 可使Fisher准则函数取最大值，即是n 维空间到一维空间投影轴的最佳方向，由 JF 最大值为 和 即 称 为Fisher变换函数 JF= 可以根据训练模式确定一个阈值 yt，于是Fisher判别规则为 判别阈值可取两个类心在u方向上轴的投影连线的中点作为阈值，即 （3) 求解Fisher判别函数 Fisher方法总结 最优问题的求解： （1）一个适当的代价函数（准则函数） （2）一个优化算法 梯度下降法 3.5 一次准则函数及梯度下降法(Gradient Descent Algorithm) 感知准则函数（Rosenblatt） 妈妈新开了个淘宝店，欢迎前来捧场 妈妈的淘宝点开了快半年了，主要卖的是毛绒玩具、坐垫、抱枕之类的，但生意一直不是很好，感觉妈妈还是很用心的，花了不少功夫，但是就是没有人气，所以我也来出自己的一份力，帮忙宣传一下。 并且妈妈总是去五亭龙挑最好的玩具整理、发货，质量绝对有保证。 另外我家就在扬州五亭龙玩具城旁边，货源丰富，质量可靠，价格便宜。 欢迎大家来逛逛【扬州五亭龙玩具总动员】?99 个人小广告： 可微函数在某点的梯度是一个向量?函数在该点的变化率最大的方向 函数 的梯度向量定义为 梯度下降法的迭代公式为： 　　　任给定初始权矢量，第k+1次迭代时的权矢量等于第k次的权矢量加上被w（k）错分的样本之合乘以某个系数。 　　把样本集看成不断出现的序列逐一考虑，称为单样本修正法。 且令 ，称为固定增量法。 使得 + - + - W指向负区，需要修正！ 　　如果训练模式是线性可分的，感知器训练算法在有限次迭代后便可以收敛到正确的解矢量 。 感知收敛定理 对两类问题，训练模式的符号规范化：若 则乘以－1（包括增广分量1） 校正规则（增量ρ 0，可取为1） 3.5.1 感知器算法(Perceptron Approach) 算法思想 任选一初始增广权矢量 用训练样本检验用分类正确否 对进行校正 对所有训练样本都能正确分类？ END Yes Yes No No 算法步骤 已知类别的增广训练模式集 (1)置步数k = 1，令增量? = 某正的常数， （各分量置为较小的任意值）； (2)输入训练模式 ，计算判别函数值 ； (3)调整增广权矢量，规则是 (4) IF kN then k=k+1 goto (2); else (k=N) IF [