模式识别特征选择.pptx

模式识别特征选择提纲第1页/共139页图像的特征提取模式类别可分性度量基于类可分性度量的特征提取与选择离散K-L变换及其在特征提取与选择中的应用特征选择中的直接挑选法第2页/共139页特征提取与选择一、图像的特征提取第3页/共139页特征提取与选择图像的特征提取 模式识别的三大核心问题: 特征数据采集分类识别特征提取与选择 分类识别的正确率取决于对象的表示、训练学习和分类识别算法，我们在前面的学习中详细讨论了后两方面的内容。本章介绍的特征提取与选择问题则是对象表示的一个关键问题。第4页/共139页特征提取与选择图像的特征提取 通常在得到实际对象的若干具体特征之后，再由这些原始特征产生出对分类识别最有效、数目最少的特征，这就是特征提取与选择的任务。从本质上讲，我们的目的是使在最小维数特征空间中异类模式点相距较远（类间距离较大），而同类模式点相距较近（类内距离较小）。 （1）直接选择法：当实际用于分类识别的特征数目d 确定后，直接从已获得的n 个原始特征中选出d 个特征 ，使可分性判据J 的值满足下式：式中 是n 个原始特征中的任意d 个特征，上式表示直接寻找n 维特征空间中的d 维子空间。第5页/共139页两个基本途径图像的特征提取主要方法有：分支定界法、用回归建模技术确定相关特征等方法。第6页/共139页两个基本途径图像的特征提取（2）变换法：在使判据J 取最大的目标下，对n 个原始特征进行变换降维，即对原n 维特征空间进行坐标变换，然后再取子空间。主要方法有：基于可分性判据的特征选择、基于误判概率的特征选择、离散K-L变换法(DKLT)、基于决策界的特征选择等方法。BA第7页/共139页 当”模式”在空间中发生移动、旋转、缩放时，特征值应保持不变，保证仍可得到同样的识别效果。例：特征选择与特征提取的区别：对一个条形和圆进行识别。解：[法1] ① 特征选择：测量三个结构特征 (a) 周长 (b) 面积 (c)两个互相垂直的内径比(c)是具有分类能力的特征，故选(c)，扔掉(a) 、 (b) 。② 分析：—— 特征选择：一般根据物理特征或结构特征进行压缩。BA② 分析：将坐标系按逆时针方向做一旋转变化，或物体按顺时针方向变，并适当平移等。根据物体在 轴上投影的坐标值的正负可区分两个物体。A第8页/共139页[法2]：① 特征抽取：测量物体向两个坐标轴的投影值，则A、B各有2个值域区间。可以看出，两个物体的投影有重叠，直接使用投影值无法将两者区分开。——特征提取，一般用数学的方法进行压缩。 第9页/共139页特征提取与选择二、模式类别可分性度量式中，是对不同种类特征的测量值，表示使用括号中特征(组)时第i 类与第j类可分性判据函数。第10页/共139页构造可分性判据模式类别可分性度量 为确立特征提取和选择的准则：引入类别可分性判据，来表征特征对分类的贡献。为此希望所构造的可分性判据J满足下列要求：(1)可分性判据J与误判概率P(e) (或误分概率的上界、下界)有单调关系，J最大时，P(e)最小。(2)当特征相互独立时，判据有可加性 ，当时；时；，当第11页/共139页构造可分性判据模式类别可分性度量(3) 判据具有“距离”的某些特性(4) 对特征数目是单调不减，即加入新的特征后，判据值不减。 第12页/共139页构造可分性判据模式类别可分性度量值得注意的是：对构造可分性判据J的要求，“单调性”、“叠加性”、“距离性”、“单调不减性”。在实际应用并不一定能同时具备，但并不影响它在实际使用中的价值。 第13页/共139页模式类别可分性度量基于几何距离的可分性判据基于距离的可分性度量 一般来讲，不同类的模式可以被区分是由于它们所属类别在特征空间中的类域是不同的区域。显然，区域重叠的部分越小或完全没有重叠，类别的可分性就越好。因此可以用距离或离差测度（散度）来构造类别的可分性判据J。 用均方欧氏距离表示第14页/共139页基于距离的可分性度量(一) 点与点的距离 (二) 点到点集的距离点X到点集中所有点的距离平方和求平均i表示点集的序号,一共有Ni个点类的均值矢量： 各类模式的总体均值矢量 为相应类的先验概率，当用统计量代替先验概率时，总体均值矢量可表示为：第15页/共139页基于距离的可分性度量(三) 类内及总体的均值矢量 某一类的样本集的中心(重心)全体样本的中心(重心)显然第16页/共139页基于距离的可分性度量(四) 类内距离 一类样本每一点到类中心的距离的平方和求平均类内均方欧氏距离 类内均方距离也可定义为： (五) 类内离差矩阵 其中“Tr”表示矩阵的迹（对角线元素的和）显然第17页/共139页基于距离的可分性度量(五) 类内离差矩