模式识别线性判别函数.ppt

多类情况下的线性判别函数 该方法实际上是将特征空间划分为R1,……， Rc 共C个判别区域，当模式在Ri中时, 具有最大的函数值 如果Ri与Rj相邻，则决策面是方程 的一部分 该方法不存在不定区 * 第三十页，共七十五页，2022年，8月28日 多类情况下的线性判别函数 R1 R2 R3 R4 g1(X) g4(X) g3(X) g2(X) * 第三十一页，共七十五页，2022年，8月28日 小结 由上述分析可得，应用线性判别函数的方法实际上是如何应用学习样本来确定线性判别函数参数的方法 由于多类问题可化为多个二类问题来处理，故以下介绍二类问题的线性判别函数学习算法 * 第三十二页，共七十五页，2022年，8月28日 线性判别函数的学习算法 线性判别函数一般具有如下一般形式： 现将其扩展到增广特征空间，即： * 第三十三页，共七十五页，2022年，8月28日 线性判别函数的学习算法 则线性判别函数可写为： 判别面 为过原点的超平面 根据判别函数的性质，对于二类问题有： 若 ，则 类 若 ，则 类 * 第三十四页，共七十五页，2022年，8月28日 线性判别函数的学习算法 现对 类样本进行归一化处理，即令所有 类样本 则二类分类问题变为：由Ｎ个学习样本，找到权向量Ａ，使得对所有的学习样本有： * 第三十五页，共七十五页，2022年，8月28日 线性判别函数的学习算法 满足上述条件的向量A称为解向量 可见每个学习样本都对解向量进行了限制，解向量并不唯一。 显然，若存在解向量A使得二类样本分类正确，则样本是线性可分的 * 第三十六页，共七十五页，2022年，8月28日 线性判别函数的学习算法 解向量并不唯一：解区域 * 第三十七页，共七十五页，2022年，8月28日 感知准则梯降法 欲求解向量Ａ，即是根据学习样本求解不等式组 直接求解不等式是困难的！ * 第三十八页，共七十五页，2022年，8月28日 感知准则梯降法 可将求Ａ的问题转化为标量准则函数求极值的问题，即定义一个标量函数J(A)，它具有如下的性质：J(A)的值越小，判别面的分割质量越高 * 第三十九页，共七十五页，2022年，8月28日 感知准则梯降法 求标题函数对矢量的极值问题，可用优化方法中的梯度下降法来解决 标量函数J(A)关于矢量Ａ的的梯度是一个向量，即 ： * 第四十页，共七十五页，2022年，8月28日 感知准则梯降法 的方向是J(A)在向量Ａ处增加最快的方向 反之，负梯度 是J(A)在向量Ａ处减小得最快的方向 的值的大小 表示J(A)在Ａ处变化率的大小 梯度等于０的点即是函数J(A)的极值点 * 第四十一页，共七十五页，2022年，8月28日 感知准则梯降法 标量函数关于向量的梯度 * 第四十二页，共七十五页，2022年，8月28日 感知准则梯降法 梯降法求解向量的一般思路： 定义一个标量准则函数J(A,Y)，该函数不仅与解向量A有关，还与学习样本Y有关 当准则函数达到极值时，判别界的质量最高 通过迭代的方法找到函数J(A,Y)的极值点，即找到使得 　J(A,Y)＝０的最佳解向量A * 第四十三页，共七十五页，2022年，8月28日 感知准则梯降法 如何用迭代方法求J(A,Y)极值点？ 如何定义标量函数？ * 第四十四页，共七十五页，2022年，8月28日 感知准则梯降法 迭代方法求J(A,Y)极值点 k=1，任意选取初始解向量 计算准则函数在Ak处的梯度 向负梯度方向跨一步，令 若 ，则显然 ，停止。 否则，令k=k+1，重复第二步，直到结束。 * 第四十五页，共七十五页，2022年，8月28日 感知准则梯降法 感知准则函数定义为： 　其含义是选择了解向量Ａ后，被错分类的样本到判别面的距离之和 　可见　　　满足　　　　　，其存在极小值０，此时无错分类样本 　　　　达到极小值时的解向量Ａ即是欲求的解向量！ * 第四十六页，共七十五页，2022年，8月28日 感知准则梯降法 如何求感知准则函数的梯度？ 即感知准则函数的梯度为选取解向量Ａ后，所有被错分类的样本之