第4章 非参数判别分类方法(线性判别函数).ppt

感知准则函数 在两类别情况下，判别准则是： 为简单起见，我们不考虑g(X)＝0的情况。 为了讨论原理方便，这一节在线性可分条件下讨论问题，并且只谈两类识别问题。 感知准则函数 线性可分 线性可分是说该训练样本集中的两类样本可以用一个线性分界面正确无误的分开。 在线性可分条件下，广义权向量a合适的话应有： 感知准则函数 为了方便起见，如果我们令 则合适的a能使所有的Y’满足  需要解决的问题: 找到满足上式的aT _ 例 感知准则函数 返回 感知准则函数 返回 感知准则函数 分析 根据训练样本确定增广权向量 a 在给定一个规范化增广样本集Y1,…,YN的条件下，对于任何一个增广权向量a ，可计算 显然如果该向量是一个能将此样本集正确分类的增广权向量，则应有 _ _ 感知准则函数 分析 而对可导致错分类的增广权向量，则必有若干个yi ,使 我们令被错分类的规范化增广样本组成的集用yk表示，并定义一准则函数 感知准则函数 分析 则能将该样本集正确分类的增广权向量a 使得 即达到a极小值。 因此确定向量的问题变为求极小值的问题 这个准则函数 就是感知准则函数 _ _ 感知准则函数 求准则函数的极小值 可以采用迭代法进行 一个常用的方法是梯度下降算法 即对第k次迭代值，求其梯度向量， 并令迭代向量沿此负梯度向量方向修正，可以较快速度到达其极小值 感知准则函数 求准则函数的极小值 将准则函数对a求偏导数，得 可见感知准则函数的梯度向量是所有被错分类的规范化增广样本向量之和 将迭代公式写成 _ 步长系数 感知准则函数 求准则函数的极小值 将以上两式合并，得 感知准则函数 三个样本的样本集为例，说明该算法 该三个样本y1,y2及y3如图所示 感知准则函数 多类问题 简介 以上讨论的都是两类别问题 实际问题中常遇到的是多类别问题。 如何用两类分类器解决多类识别问题？ 有多种方法，分别介绍 多类问题 方法一 将C类别问题化为(C-1)个两类问题 即将第i类与所有非i类样本，按两类问题确定其判别函数与决策面方程。 对于C类，则总共有(C-1)个两类别问题 多类问题 方法一 存在问题 一是可能会出现一些不定区域 如图中阴影所示，无法确定其类别 另一方面用线性判别函数对i类及所有非i类进行划分并不能保证获得性能良好的划分，硬性使用线性分类器可能会产生很不好的效果。 多类问题 方法二 将C类中的每两类别单独设计其线性判别函数 共有C(C-1)/2个线性判别函数。 这种方法由于每个判别函数针对每两类别样本设计，预期可有好效果，但仍有不定区域，在该区域内样本类别无法确定。 多类问题 方法三 将特征空间确实划分为C个决策域，共有C个判别函数 每个决策域Ri按以下规则划分如果 多类问题 方法三 因此落在Ri区域内的样本被划分成ωi类，如果发生gi(X)＝gj(X)，即处于决策域的边界上，则作出拒绝决策。这种分类器被称为线性机器。线性机器中决策域的边界由相邻决策域的判别函数共同决定，此时应有 或写成 多类问题 广义线性判别函数 广义线性判别函数 选择一种映射X→Y，即将原样本特征向量X映射成另一向量Y，从而可以采用线性判别函数的方法。 例如对于二次函数情况，其一般式可表示成  如果我们采用映射x→Y，使 广义线性判别函数 广义线性判别函数 则判别函数g(x)又可表示成 此时g(x)被称为广义线性判别函数，a称为广义权向量。 _ 广义线性判别函数 The mapping y = (1,x,x2)t takes a line and transforms it to a parabola in three dimensions. A plane splits the resulting y-space into regions corresponding to 2 categories 广义线性判别函数 广义线性判别函数 按照这种原理，任何形式的高次判别函数都可转化成线性判别函数来处理。 这种处理非线性分类器的方法，在支持向量机中得到充分的研究。 产生问题: 维数会增加很多 广义线性判别函数 一种特殊的映射方法 将X增广至 广义线性判别函数 一种特殊的映射方法 并将g(x)中的W向量与w0统一表示成 其中w1，w2，w3....wd为向量w各分量 广义线性判别函数 一种特殊的映射方法 则线性判别函数g(X)可以表示成  这是广义线性判别函数的一个特例 被称为增广样本向量，称为增广权向量。 广义线性判别函数 一种特殊的映射方法 这样,特征空间增加了一维，但保持了样本间的欧氏距离不变