第2章 模式判别.pptVIP

第2章 模式判别 主要内容： 决策区域和决策函数 特征空间尺度 协方差矩阵 主成分 特征评价 维数比率问题 2.1 决策区域和决策函数 在分类和回归问题中，样本是用特征空间Rd中的特征向量表示的。 在分类器的例子中，主要任务是按各个类别将特征空间划分为对应的区域，这些区域被称为决策区域。 如果一个特征向量落入某个决策区域，那么其对应的样本就被划分到相应的类中。 假设有两类样本 和 ，它们是用二维特征向量坐标(X1和X2)描述的，如图2-1所示。 代表分布边界的椭圆，也称类别界限(class limits) 在图2-1中，有一条直线把两个类别分开。我们很容易用坐标(特征)XI、 X2和权重系数 和 以及偏差量 写出这条直线的方程，即式(2-1)。其中，权重系数决定了该直线的斜率，偏差量决定了原点到直线与坐标轴相交的距离。 称为线性决策函数，它把空间R2分成两个决策区域： 推广到d维特征空间Rd的线性决策函数如下： 决策面或判别式d(x)是一个d维线性平面，称为超平面。 它由两个参数确定： 到坐标原点的距离D0和指向正方向（ d(x) 0）的单位法向量n（或称w方向的单位向量）。 图2-2 距离原点D0、具有常向量n的二维线性决策函数 注意： 正好是任意一点z到超平面的距离。 2.1.1 广义决策函数 在样本分类中，我们并不只限于使用线性决策函数。只要各类别之间、没有重叠，我们总能在Rd空间中找到一个广义决策函数，用它可以把类 从全体c个类别中分离出来，对应于下面的决策规则： 对有些广义决策函数，我们可以为分类辨别设定一个阈值△： 例如，在有两个类的一维分类问题中，对于二次决策函数d(x)=x2，我们可以通过选择一个适当的阈值△来设计分类器，这样就能应用下面的决策规则： 图2-3a就是一个对于两类判别问题应用二次决策函数的例子，其中设定阈值△=49，利用它可以将第一类 和第二类 分开。 图2-3 (a)二次决策函数d(x)=x2 ; (b)对数决策函数g(x) =ln(d(x)) 需要重点强调的是，我们关心的只是最后的分类结果，所以选取任何关于d(x)的单调函数得到的结果将是一样的。例如，对于二次分类器(2-3b)， 有时用函数的线性组合表达广义决策函数更方便： 例如，假设有两个类，它们具有如图2-4a所示的圆形界限。一个二次决策函数可以把它们分开： 图2-4 (a)原特征空间中的两类识别问题 (b)变换后的一维特征空间中的两类识别问题 在这个一维特征空间中，我们可以简单地把决策函数写成一个线性决策函数： 决策函数d(x)的多项式表示 例如，决策函数(2-5a)可以用一个x1和x2，的二次多项式表示。图2-5给出了一个二维空间中的例子，用一个4次多项式决策函数表示的决策边界可以对其分类： 图2-5 4次多项式决策函数的决策区域和边界 在原始特征空间里，我们用了两个特征并且需要计算（或说调整）15个权重系数。 如果转移到变换后的特征空间去处理，例如单项式函数空间 。 这样我们就需要对14个特征以及一个偏差量(w0)进行计算。 在这个维数稍高的空间里进行处理的好处就是可以得到一个线性决策函数，并且使得判别计算以及权重系数的调整变得相对简单。 2.1.2 分类超平面 在一个多类问题中，将应用多个决策面。此时的决策域将会变得更加复杂。 此时，各个类的划分情况可以是下面两种基本情况： 1.绝对可分：各个类都能和其他所有的类分开 2.成对可分：所有的类为两两可分 现在假定多个类通过分类超平面是线性可分的 绝对可分 定义：任何一个类都可以从其他所有的类中分离出来 图2-6中还画出了各个线性决策面。决策域（阴影部分）可以定义为： 图2-7 通过多层决策将一个特征向最（图2-6所示的例子）分到的一个类中去的层次化结构 最常见的层次结构决策树——二分树( dichotomic tree)，也叫做二进制树(binary tree) 很容易将两类分类问题推广，从而得到多类分类问题的设计标准和方法 成对可分 在一些情况下，绝对线性可分是不能达到的。但是有时各个类却可以像图2-8中所示的那样成对线性可分。 在这种情况下，我们可以建立c个决策面来成对的划分这些类，其中的决策函数可以如下定义： 此时，决策域为： 必须注意到，成对线性可分通常决定了它不是一个层次化的分类结构。