模式识别-第9讲-特征的选择与提取1精要.ppt

分别以S和R作为∑和ρ的估计,按前面所述的方法求得的主成分称为样本主成分.具体有如下结论: 其中x=(x1,x2,…,xp)T为X的任一观测值.当依次代入X的n个观测值 xk=(x1k,x2k,…,xpk)T ,k=1,…,n 时,便得到第i个样本主成分yi 的n个观测值yik (k=1,2,…,n). 设 S=(sij)p×p 是样本协方差矩阵,其特征值为 , 相应的正交单位化特征向量为 ,则第i个样本主成分为: 这时 第i个样本主成分的贡献率为: 前m个样本主成分的累计贡献率为: 为了消除量纲的影响,我们可以对样本进行标准化,即令 则标准化数据的样本协方差矩阵即为原数据的样本相关矩阵R. 由R出发所求得的样本主成分称为标准化样本主成分. 只要求出R的特征值及相应的正交单位化特征向量,类似上述结果可求得标准化样本主成分.这时标准化样本的样本总方差为p. 例2 设样本均值为（1，2），样本的协方差矩阵和相关矩阵分别为： 计算分别用Σ和R计算得到的主成分，并说明其差异。 本节课结束 谢谢大家！ * * 以前我们假定给出了维数为n的确定的模式样本集，代表模式的特征是选择好的。但在实际设计一个模式识别系统时，首先要解决的问题用各种可能的手段对识别对象的性质作各种可能的测量，并将这些测量值作为分类的特征。而为了设计出好的分类器，一般需要对原始的测量值集合进行分析，进行选择或变换，组成识别特征，在保证一定分类精度的前提下，减少特征维数，使分类器的工作又快又准确。要达到上述目的，关键是所提供的模式特征应具有很好的可分性（类别可分离性判据来衡量），同时去掉那些关联性较强的特征。下面我们看一下本章中设计到的基本概念。 * * * 矩阵的迹:一个n×n的矩阵A的主对角线（从左上方至右下方的对角线）上各个元素的总和被称为矩阵A的迹（或迹数），一般记作tr(A)。  * 下面我们以两类问题为例，来分析一下基于概率分布的可分性判据。先来看一下面的一个简单的例子。 由上启发我们可用两类概率密度函数的重叠程度（相似程度）来度量可分性，构造基于类概率的可分性判据。 它可以是概率密度函数的乘积、比或差的积分来刻画重叠程度。 * * 2012.10.26第9周星期五 理学院第12次课结束！ * * * 2012.10.23第9周星期二 计算机停课一次！ 2012.10.24第9周星期三 专升本第12次课结束！ 2012.10.30第10周星期二 计算机第12次课结束！ * * X为列向量 对二维随机变量,除每个随机变量各自 的概率特性外, 相互之间可能还有某种联系 问题是用一个怎样的数去反映这种联系. * * ωi ωj ωi ωj 重叠程度越大熵函数值越大 4.基于熵函数的可分性判据 1) 广义熵 α为大于1的正数 2) Shannon熵 4.基于熵函数的可分性判据 3) 平方熵 为了对所提取的特征进行评价，我们要计算空间每一点的熵函数. 在熵函数取值较大的那一部分空间，不同类的样本必然在较大的程度上互相重叠. 可以表征类别的分离程度，它可用来作为所提取特征的分类性能的准则函数. 因此熵函数的期望值 4.基于熵函数的可分性判据 §2 特征提取 1 按欧氏距离度量的特征提取方法 2 基于判别熵最小化的特征提取 3 两维显示 y1 y2 y3 yD o x1 x2 xd o 特征提取 D d Y空间 D 维 原始特征集 Y空间 d 维 新特征集 变换 确定变换的依据:类别可分性判据 目标: 在新的特征空间中, 各类之间容易区分. §2 特征提取 根据前面提到的类别可分离性判据。我们可以依据这些判据进行特征的提取。 设原特征向量 ，对 作线性变换，产生 d 维向量 ， ，即 矩阵 称为特征提取矩阵或变换矩阵， 称为二次特征。 ① s阶Minkowski度量 多维空间中两个向量之间有多种距离度量 ② 欧氏距离 在Minkowski度量中，令s=2，得到常用的欧氏距离： 1. 按欧氏距离度量的特征提取方法 ③ Chebychev距离: 棋盘距离 ④ Mahalanobis距离: 式中Q是给定的正定标尺矩阵