模式识别特征选择课件.pptVIP

特征提取与选择--模式识别课程

提纲n图像的特征提取n模式类别可分性度量n基于类可分性度量的特征提取与选择n离散K-L变换及其在特征提取与选择中的应用n特征选择中的直接挑选法

特征提取与选择一、图像的特征提取

特征提取与选择模式识别的三大核心问题:图像的特征提取?特征数据采集?分类识别?特征提取与选择分类识别的正确率取决于对象的表示、训练学习和分类识别算法，我们在前面的学习中详细讨论了后两方面的内容。本章介绍的特征提取与选择问题则是对象表示的一个关键问题。

特征提取与选择图像的特征提取通常在得到实际对象的若干具体特征之后，再由这些原始特征产生出对分类识别最有效、数目最少的特征，这就是特征提取与选择的任务。从本质上讲，我们的目的是使在最小维数特征空间中异类模式点相距较远（类间距离较大），而同类模式点相距较近（类内距离较小）。

两个基本途径图像的特征提取（1）直接选择法：当实际用于分类识别的特征数目d确定后，直接从已获得的n个原始特征中选出d个特征，使可分性判据J的值满足下式：式中是n个原始特征中的任意d个特征，上式表示直接寻找n维特征空间中的d维子空间。主要方法有：分支定界法、用回归建模技术确定相关特征等方法。

两个基本途径图像的特征提取（2）变换法：在使判据J取最大的目标下，对n个原始特征进行变换降维，即对原n维特征空间进行坐标变换，然后再取子空间。主要方法有：基于可分性判据的特征选择、基于误判概率的特征选择、离散K-L变换法(DKLT)、基于决策界的特征选择等方法。

当”模式”在空间中发生移动、旋转、缩放时，特征值应保持不变，保证仍可得到同样的识别效果。例：特征选择与特征提取的区别：对一个条形和圆进行识别。解：[法1]B①特征选择：测量三个结构特征(a)周长A(b)面积(c)两个互相垂直的内径比②分析：(c)是具有分类能力的特征，故选(c)，扔掉(a)、(b)。——特征选择：一般根据物理特征或结构特征进行压缩。

[法2]：①特征抽取：量物体向两个坐影BAA、B各有2个域区。可以看出，两个物体的投影有重叠，直接使用投影值无法将两者区分开。②分析：将坐标系按逆时针方向做一旋转变化，或物体按顺时针方向变，并适当平移等。根据物体在轴上投影的坐标值的正负可区分两个物体。——特征提取，一般用数学的方法进行压缩。

特征提取与选择二、模式类别可分性度量

模式类别可分性度量构造可分性判据为确立特征提取和选择的准则：引入类别可分性判据，来表征特征对分类的贡献。为此希望所构造的可分性判据J满足下列要求：(1)可分性判据J与误判概率P(e)(或误分概率的上界、下界)有单调关系，J最大时，P(e)最小。(2)当特征相互独立时，判据有可加性式中，是对不同种类特征的测量值，表示使用括号中特征(组)时第i类与第j类可分性判据函数。

模式类别可分性度量构造可分性判据(3)判据具有“距离”的某些特性，当，当时；时；(4)对特征数目是单调不减，即加入新的特征后，判据值不减。

模式类别可分性度量构造可分性判据值得注意的是：对构造可分性判据J的要求，“单调性”、“叠加性”、“距离性”、“单调不减性”。在实际应用并不一定能同时具备，但并不影响它在实际使用中的价值。

模式类别可分性度量基于几何距离的可分性判据基于距离的可分性度量一般来讲，不同类的模式可以被区分是由于它们所属类别在特征空间中的类域是不同的区域。显然，区域重叠的部分越小或完全没有重叠，类别的可分性就越好。因此可以用距离或离差测度（散度）来构造类别的可分性判据J。

基于距离的可分性度量(一)点与点的距离(二)点到点集的距离用均方欧氏距离表示i表示点集的序号,一共有N个点i

基于距离的可分性度量(三)类内及总体的均值矢量类的均值矢量：各类模式的总体均值矢量为相应类的先验概率，当用统计量代替先验概率时，总体均值矢量可表示为：

基于距离的可分性度量(四)类内距离类内均方欧氏距离类内均方距离也可定义为：(五)类内离差矩阵显然其中“Tr”表示矩阵的迹（对角线元素的和）

基于距离的可分性度量(五)类内离差矩阵(续)类内离差矩阵表示各类模式在类的均值矢量周围的散布情况。显然

基于距离的可分性度量(六)两类之间的距离

基于距离的可分性度量(六)两类之间的距离(七)各类模式之间的总的均方距离当取欧氏距离时，总的均方距离为

基于距离的可分性度量(八)多类情况下总的类内、类间及总体离差矩阵总的类内离差矩阵类内离差矩阵总的类间离差矩阵

基于距离的可分性度量(八)多类情况下总的类内、类间及总体离差矩阵（续）总体离差矩阵

基于距离的可分性度量(八)多类情况下总的类内、类间及总体离差矩阵（续）总体离差矩阵

基于距离的可分性度量(八)多类情况下总的