第5章非线性判别函数.pptVIP

模 式 识 别 徐蔚然 北京邮电大学信息工程学院 非线性判别函数 非线性判别函数 传统的模式识别技术，则侧重于使用分段线性判别函数 人工神经元网络如多层感知器等网络能够实用非常复杂的非线性分类，以及非线性函数拟和，非线性映射等 支持向量机则提出了一种基于特征映射的方法，也就是使用某种映射，使本来在原特征空间必须使用非线性分类技术才能解决的问题,映射到一个新的空间以后, 使线性分类技术能继续使用。 5.1非线性判别函数与分段线性判别函数 分段段数问题 分段段数问题 分段段数过少 ，分类效果必然要差 但段数又要尽可能少，以免分类判别函数过于复杂，增加分类决策的计算量 同一类样本可以用若干个子类来描述 合适的子类划分不知道，需要采用聚类方法 分段线性判别函数的一般形式 分段线性判别函数的一般形式 分段线性判别函数的一般形式 相应的判别规则是： 分段线性判别的主要问题 分段线性判别的主要问题 每一类的样本数据在特征空间中的分布呈复杂修正时，使用线性判别函数就会产生很差的效果， 如果能将它们分割成子集，而每个子集在空间聚集成团，那么子集与子集的线性划分就可以取得比较好的效果。 因此分段线性判别的主要问题是如何对数据划分成子集的问题。 5.2 基于距离的分段线性判别函数 正态分布条件下，两类别问题在各特征统计独立、同方差、且先验概率相等情况下，最小错误率决策可按最小距离决策，即 基于距离的分段线性判别函数 分段线性距离分类器原理 按距离分类的原理推广 把各类别样本特征向量的均值作为各类的代表点， 而样本的类别按它到各类别代表点的最小距离划分 在这种判别函数中，决策面是两类别均值连线的垂直平分面 基于距离的分段线性判别函数 基于距离的分段线性判别函数 基于距离的分段线性判别函数 分段线性距离分类器原理 显然这种判别方法只有在各类别密集地分布在其均值附近时才有效。 对于上图所示情况，若企图再用每类一个均值代表点产生最小距离分类器，就会产生很明显的错误率。 在这种情况下，可以将各类别划分成相对密集的子类，每个子类以它们的均值作为代表点，然后按最小距离分类 基于距离的分段线性判别函数 分段线性距离分类器原理 归纳起来，如果对于ωi有li个子类，则有li个代表点，或者说把属于ωi的决策域Ri分成li个子域，即 对每个子区域Ril均值用mil表示，并以此作为该子区域的代表点， 则判别函数定义为： 相应的判别规则是： 基于距离的分段线性判别函数 基于距离的分段线性判别函数 对样本进行子类的合适划分是分段线性距离分类器性能好坏的一个关键问题 5.3错误修正算法 错误修正法是对感知准则函数的扩展 aiTy与ajTy相比较的含义: ai与aj代表两类增广权向量 y则代表规范化的增广权向量 一般来说点积值比较大则表示这两个向量在方向上比较一致， 换句话说向量间的夹角较小。 错误修正算法 思路 如果某一类样本比较分散 能用若干个增广权向量表示 使同一类规范化增广样本向量能够做到与代表自己一类的增广权向量的点积的最大值比与其它类增广权向量的点积值要大 就可以做到正确分类。 错误修正算法 思路 这种算法就是要用错误提供的信息进行叠代修正 它对每类样本集进行具体划分 希望能知道每类所需的增广权向量数目 实际上，该数目也可以在计算过程中按分类效果调整 错误修正算法的基本要点 当每类的子类数目已知时 可以采用假设初始权向量 然后由样本提供的错误率信息进行迭代修正，直至收敛 (1)对每个类别的子类赋予一初始增广权向量 ，其中括号中的数目表示迭代次数。 错误修正算法的基本要点 (2)然后对每次迭代所得增广权向量用样本去检测，如发生错误分类，则利用错误分类的信息进行修正。其做法是： a)先将某一j类的增广样本向量yj，与该类所有增广权向量aj-l(k)求内积aj-l(k)Tyj ，找到其中的最大值 aj-m(k)Tyj aj-m(k)Tyj=max aj-l(k)Tyj 错误修正算法的基本要点 b) 将该yj与其它类(如i类)的权向量求内积，并将这些内积值与作比较，若 aj-m(k)Tyj ≤ ai-l(k)Tyj i=1,…,c, i≠j, l=1, …,li 则表明权向量组，不影响yj的正确分类，因此不需要修改这些权向量 错误修正算法的基本要点 b) 但是如果存在某个或几个子类不满足上述条件，譬如某个子类的现有权向量使得 aj-m(k)Tyj ≤ ai-n(k)Tyj i≠j 这表明yj将错分类，而有关权向量需要修正 错误修正算法的基本要点 c)此时首先找到导致yj错分类的所有权向量中具有与yj