武汉大学计算机学院模式识别(七)修订版-特征提取和选择【荐】.pdfVIP

7 武汉大学计算机学院本科生课程 模式识别 (Pattern Recognition) 武汉大学计算机学院 袁志勇 Email: yuanzywhu@163.com 第5章 特征提取和选择 5.1 引言 5.2 基本概念 5.3 类别可分性判据 5.4 基于可分性判据的特征提取 5.5 K-L变换/主分量分析/主成份分析(PCA)及实现 补充 PCA人脸图像的预处理方法及编程 5.6 快速PCA及实现 5.7 基于PCA 的人脸特征提取及实现 5.1 引言 在模式识别领域，特征的提取与选择是最关键的问题之 一，同时也是最困难的问题之一。不同的模式识别应用， 需要采用不同的特征提取与选择方法。 对于实际的模式识别问题，以人脸识别为例，一开 始的原始特征可能很多，如在 ORL(http://www.cl.cam.ac.uk/research/dtg/attarchive/face database.html)人脸数据库中，每幅图像的分辨率为 112×92，如果将每个像素作为1维特征，则高达10304维。 若把所有的原始特征都作为分类特征送到分类器，不仅使 得分类器复杂，分类判别计算量大，而且分类错误概率也 不一定小；原始特征的特征空间有很大的冗余，完全可以 用很小的空间相当好地近似表示图像，这一点与压缩的思 想类似。因此有必要减少特征数目，以获取“少而精”的分 类特征，即获取特征数目少且能使分类错误概率小的特征 向量。 对特征的要求： 作为识别分类用的特征应具备以下几个条件： (1)具有很大的识别信息量。即所提供的特征应具有很好 的可分性，使分类器容易判别。 (2)具有可靠性。对那些模棱两可，似是而非不易判别的 特征应该去掉。 (3)具有尽可能强的独立性。重复的、相关性强的特征只 选一个，因为强的相关性并没有增加更多的分类信息，不 能要。 (4)数量尽可能少，同时损失的信息尽量小。 模式识别中减少特征数目(或压缩特征空间) 的方法有两种： 一种是特征提取，另一种是特征选择。 原始特征：通过直接测量得到的特征称为原始特征。比如人 体的各种生理指标（描述其健康状况）；数字图像中的各像 素点的亮度值（描述图像内容），都是原始特征。 特征提取：通过映射(变换) 的方法把高维的特征向量变换为 低维的特征向量。 通过特征提取获得的特征是原始特征集的某种组合，即 A: X→Y ，可见新的特征中包含有原有全体特征的信息。 特征选择：从原始特征中挑选出一些最有代表性、分类性能 好的特征以达到降低特征空间维数的目的。 也就是说，特征选择就是从已有的D个原始特征中挑选 出d个特征组成一个特征子集，同时将D-d个对类别可分离 性无贡献的或贡献不大的特征简单地忽略掉。 特征提取与具体问题有很大关系，目前没有理论能给 出对任何问题都有效的特征提取方法。由于在许多实际问 题中，那些最重要的特征往往不易找到，使得特征选择和 特征提取成为构造模式识别系统最困难的任务之一。 如： ♦用傅立叶变换或小波变换的系数作为图像的特征； ♦指纹的特征； [1] ♦统计特征，如矩 、灰度共生矩阵(Co-occurrence Ma tr ix)[2]等； ♦用PCA方法作特征压缩； ♦用LDA方法作特征压缩。 [1]王耀明. 图像的矩函数-原理、算法及应用. 华东理工大学出版社, 2002年第1版. [2] HARAL ICK R M. Statistical and structural Approaches to Texture [J ]. Proceeding of IEEE, 1979, 67 (5) : 786 - 804. 5.2 基本概念(见教材) 1.特征的特点 模式识别的主要功能在于利用计算机实现人的 类识别能力, 它是一个与领域专门知识有关的问题。 研究领域不同，选择的特征也不同，但不论采用什么 样的特征，都应该满足如下条件： (1)特征可以获取