第九章特征选择与降维sect9-1单个特征的评价.pptVIP

第九章特征选择与降维

§9-1单个特征的评价;一.K-W检验;

(9.1)

在实用中一般只需比较各特征的H值，H越大时，特征的分

类能力越强。

例9.1设有N＝10个样品，共分m＝2类，每个样品取4个特征，

用K－W检验比较特征的分类能力。原始资料矩阵见表9.1。;首先对将各样品按值大小编号，所对应的值最

小(0.18)。编号为第1号，编为第2号，全部编号结果列在表9.2

的第一行中。于是有

表9.2对于各样品的重新编号;对于分别有，，。所以特

征的分类能力最强，次之，最差。

K-W检验的原理是清楚的。

首先，式(9.1)括号中的(N＋1)/2是全体样品编号的均值，

而是各类样品编号的均值，因此H实际上相当于特征x对应

编号的组间离差。

其次，用编号代替特征x的原有取值也是不难理解的。在表

9.1中，两类样品所对应的特征的原有取值的平均值都是0.7，

即两类均值完全相同。

从这一事实来看，应该是一个很坏的特征。但是，用对

样品分类时，如果取0.4和0.5之间的某个数，例如0.45作为分界

点，被分错的却只有一个点。这又说明这个特征不太坏。

那么何以会出现两类均值相同的现象呢？不难看出，这是由于;在图9.1中可以看到，在的直方图中两类样品可以比较清楚地分开，而在特征的直方图则有较多的混淆现象。因此，直方图可以作为检验特征分类能力的一种工具。

从直方图出发可以构造所谓可接受的运算特征(ROC)曲线。一个一般的直方图如图9.2(a)所示。任意取x轴上一点t作为分界点。第一类样品被判错部分的面积记为α，第二类被判错部分记作β，不断改变t的位置，并将点(α,1-β)画在平面上，便形成图9.2(b)中的ROC曲线。图中的面积A表示特征x的分类能力，A越大，x的分类能力越强。

现在我们来做例9.1中特征的ROC曲线，使t从开始逐渐增加直到，对应的α和β值记在表9.3中，ROC曲线见图9.2(c)。

;从直方图出发还可以设???另外的特征选择方法。例如，在图9.1(a)中把两类中互不混淆的部分分别记作和。当有多个特征时，先从中挑选一个使之值最大的特征，并且去掉那些可以用这个特征分开的样品，再从剩下的样品中挑选其他的特征。

表9.3特征的ROC曲线计算步骤;三．利用不确定性选择特征;例9.2设有40个样品点共分两类，其中某特征x的变化范围

在0.20到0.90之间。将这个范围分为两段，所得结果列在表

9.4中。

;由表9.4求出A＝0.8089。熵的原理可以用两个极端的例子说明。在上例中，若第一段中只有第一类样品而第二段内只有第二类样品，则

最后得到A＝0。另一方面，如果每段内的两类样品数都相等，则

最后得到。以上两种情形分别对应于x的分类能力最强和最弱的两种状态。;四．用于有序样品的特征选择方法;例9.3假设已知10各样品点，按照下标从小到大的次序排列，x是用描述这些样品点的一个特征，它的取值如表9.5所示。

由表9.5可见，x共有3种可能的取值：0，1，2。做出x的直方图，并计算x的每种取值出现的概率，见表9.6。;我们假设把样品点想象为上文中所说的时间段，而把特征x想象为每段时间前的若干年内6.0－6.9级地震的发生次数。根据这种想象，x在不同时间段上的先后取值应该是有联系的，而不能认为是独立的随机变量。由这一假定出发，我们建立描述这种先后联系关系的转移概率矩阵P。P通过以下两步算出：

(1)求矩阵,其中每个元素等于表中上一段x取值编号为i，而下一段x取值编号为j的次数，i，j＝1,2,3。