《模拟识别特征》特征提取与选择.docx

第七章特征提取与选择 ■类别可分性判据 ■离散K-L变换及其在特征提取 与选择中的应用 第七章特征提取与选择 第七章特征提取与选择 第七章特征提取与选择 7?1概述 PAGE PAGE # 模式识别的三大核心问题: ■特征数据采集 ?分类识别 ?特征提取与选择 分类识别的正确率取决于对象的表示、训练学 习和分类识别算法，我们在前面各章的介绍中详细 讨论了后两方面的内容。本章介绍的特征提取与选 择问题则是对象表示的一个关键问题。 通常在得到实际对象的若干具体特征之后, 再由这些原始特征产生出对分类识^最有效、 数目最少的特征 > 这就是特征提取与选择的 任务。从本质上讲，我们的目的是使在最小 维数特征空间中异类模式点相距较远（类间 距离较大）>而同类模式点相距较近（类内 距离较小）O 7 7?1概述 特征提取与选择的两个基本途径 PAGE PAGE # （1）直接选择法：当实际用于分类识别的特征数目” 确定后，直接从已获得的〃个原始特征中选出d 个特征，七，使可分性判据丿的值满足下 式: /（%!, %2,A = A，兀川 式中兀1，兀2,A，兀/是兀个原始特征中的任意d个特征, 上式表示直接寻找〃维特征空间中的d维子空间。 主要方法有：分支定界法、用回归建模技术确定相 关特征等方法。 变换法，在使判据＜/取最大的目标下，对〃 个原始特征进行变换降维，即对原〃维特征空间 进行坐标变换，然后再取子空间。 主要方法有：基于可分性判据的特征选择、基于 误判概率的特征选择、离散K-L变换法(DKLT)、 基于决策界的特征选择等方法o 特征提取与选择 7.2类别可分性判据 7.2 7.2类别可分性判据 构造可分性判据 PAGE PAGE # 为确立特征提取和选择的准则：引入类别可分性 判据，来刻划特征对分类的贡献。为此希望所构造 的可分性判据满足下列要求: (1)与误判概率(或误分概率的上界、下界)有单调关系。 (2)当特征相互独立时，判据有可加性，即: d 儿(兀 1，兀 2,A，Xd)二工 Jij(xQ k=l 式中 是对不同种类特征的测量值,厶() 表示使用括号中特征时第，类与第/类可分性判据函数。 7.2 7.2类别可分性判据 构造可分性判据 人丿(坷，兀 人丿(坷，兀2,A ,%J< J/y(XpX2,A，七，兀7+1) 判据具有"距离”的某些特性，即: Jij>0 ■当心丿时； Jij=O ■骂 i = j 时； 对特征数目是单调不减，即加入新的特征后, 判据值不减。 7.2 7.2类别可分性判据 构造可分性判据 PAGE PAGE # 值得注意的是：上述的构造可分性判据的要求，即 “单调性”、 “单调性”、“叠加性”、 “距离性”、 减性”。在实际应用并不一定能同时具备，但并不 影响它在实际使用中的价值。 7.2 7.2类别可分性判据 PAGE PAGE # 7.2.1基于几何距离的可分性判据 一般来讲，不同类的模式可以被区分是由于它们 所属类别在特征空间中的类域是不同的区域。 显然，区域重叠的部分越小或完全没有重叠，类 别的可分性就越好。 因此可以用距离或离差测度（散度）来构造类别 的可分性判据。 7.2.1 7.2.1基于几何距离的可分性判据 二 PAGE PAGE # （一） 点与点的距离 （￡,F）=［（￡—F）t（￡_￡）『 ■ ■ （二）点到点集的距离 n 丁/2 工4 -乞尸 k=l 用均方欧氏距离表示 （三）类内及总体的均值矢量 1 M 类的均值矢量：妙二补￡卽 心1,2,a ,C N）k=i 各类模式的总体均值矢量 i=\ ￡为相应类的先验概率，当用统计量代替先验概 率时，总体均值矢量可表示为: 7 7?2?：L基于几何距离的可分性判据 二 PAGE PAGE # （四）类内距离 1 Ni 厂（?）=补工卅—朋丁（别—於）） 类内均方欧氏距离 类内均方距离也可定义为 盯⑷）二1MW—1 盯⑷）二 1 MW—1) ￡￡沪（球冷）） k=\ 1=1 （五）类内离差矩阵 s厂寻￡卅-朋）（刘-朋）T N i k=i 显然产(?)=巩?」 两类之间的距离 [ N： N j d2 (^., ) = ——- J 2 (^0), f/7)) N N j k=\ l=\ 1 N? N j “讣金莫舟) 7?2?：L基于几何距离的可分性判据 （七）各类模式之间的总的均方距离 \ c c \ c c 1 N: N j 1 ￡工，（勿炉）） k=l 1=1 小―辽P召N- 当取欧氏距离时，总的均方距离为 沪&霸￡p$pj聽養（卽-护）T & 乙匸1 7=1 N 小 j k=l l=x 7.2.1 7.2.1基于几何距离的可分性判据 二 PAGE PA