结合图像空间信息的线性判别分析研究-计算机科学与技术专业论文.docxVIP

万方数据 万方数据 Nanjing University of Aeronautics and Astronautics The Graduate School College of Computer Science and Technology Research on Linear Discriminant Analysis With Image Spatial Information A Thesis in Computer Science and Technology by Niu Lulu Advised by Prof. Chen Songcan Submitted in Partial Fulfillment of the Requirements for the Degree of Master of Engineering January, 2014 承诺书 本人声明所呈交的硕士学位论文是本人在导师指导下进 行的研究工作及取得的研究成果。除了文中特别加以标注和致 谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得南京航空航天大学或其他教育机构的学位 或证书而使用过的材料。 本人授权南京航空航天大学可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后适用本承诺书） 作者签名： 日 期： 南京航空航天大学硕士学位论文 摘 要 降维是模式识别系统的一个构成要素，其本质是将数据从高维映射到能反映原始数据分类 本质的低维空间，以利于有效分类。根据映射方式降维算法可分为线性型和非线性型，其中主 成分分析（PCA）和线性判别分析（LDA）是最为典型的两种线性降维算法，并广泛应用于图 像降维等。当 PCA 和 LDA 进行图像降维时，常先将其向量化，如此不仅破坏了图像原有的空 间结构，而且更无法对其利用，从而降低了分类器应有的学习性能。著名的“没有免费午餐定 理（NFL）”告诉我们：如果可以利用更多与问题相“匹配”或相关的先验知识进行建模学习， 则能获得性能更优的学习器。因而将空间结构信息融入至降维过程成为近年来的一个重要研究 内容。 本文立足 LDA 开展了研究，并取得了如下成果： 1. 总结出了目前将空间结构信息融入至线性降维算法的两类主要方法，一是空间平滑的子 空间学习（SSSL）；二是基于欧氏距离度量的空间平滑。前者通过对优化目标的空间正则化实 现对空间结构信息的利用，而后者则是通过空间平滑欧氏距离实现。本成果将上述两类方法结 合至 LDA，分别产生了对应的算法 SLDA 和 IMEDA，探究了两者间的内在联系：理论上证明 了 SLDA 是 IMEDA 的一个特例；经验上通过在 Yale、AR 和 FERET 人脸集上的实验比较了两 者的识别性能和运算效率，并分析了参数对它们性能的影响。 2. 针对 SLDA 和 IMEDA 的投影矩阵均通过优化平均类内和平均类间散度（scatter）之比 而得，受最坏情况下线性判别分析（WLDA）启发，本成果则通过约束平均类内散度（或紧性） 上界的同时，最大化最坏类间散度（或分离度）而得，分别设计出了 WSLDA 和 WIMEDA 两 种降维算法。并将两者的求解最终归结为简单的特征值优化问题。与原对应算法相比，WSLDA 和 WIMEDA 类间间隔更大，更利于分类。在 Yale、AR 和 FERET 人脸集上的实验验证了两者 的有效性。 3. 建立了一个监督型的一般性降维框架，一方面使典型的 LDA、局部保持投影（LPP）、 邻域保持嵌入（NPE）和稀疏保持投影（SPP）等降维算法作为其特例，另一方面有望通过调 整框架内含参数，发展出新的降维算法、对现有算法非参数化、进行空间信息嵌入和代价引入 的敏感学习等。 关键词：线性判别分析，降维，空间结构信息，空间平滑，平均散度，特征值优化 i 结合图像空间信息的线性判别分析研究 ABSTRACT Dimensionality reduction is one of the components in pattern recognition system, and its essence is to map the data from the original high dimensional space to low dimensional space reflecting the nature of classification. According to different ways of the mapping, it can be divided into linear dimensionality reduct