基于鲁棒距离度量的判别研究分析与应用-discriminant analysis and application based on robust distance measurement.docx

承诺书本人声明所呈交的硕士学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京航空航天大学或其他教育机构的学位或证书而使用过的材料。本人授权南京航空航天大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本承诺书）作者签名：日期：摘要特征提取是模式识别所研究的关键问题之一，其基本任务是寻求对分类尽可能有效的特征。在监督的特征提取方法中，线性判别分析（LDA）具有代表性，并已在人脸识别、文本分类、信息检索等领域得到广泛应用。LDA旨在寻求一个降维子空间或一组投影方向，使在该子空间中数据的类间距离最大化，类内距离最小化。然而，在真实世界中，由于各种无法避免的原因，数据往往夹杂着噪声或野值（outlier），因此，鲁棒判别分析算法（RDA）的研究便具有十分重要的意义。近年来，研究人员们已陆续提出了一些鲁棒判别分析算法，但这些算法各自固有的缺陷与算法之间所存在的联系并没有得到应有的重视与研究。针对这一问题，本文从不同算法所基于的鲁棒距离度量角度出发，在深入分析各算法鲁棒性的基础上，对现有算法进行了分类和比较，并提出了几种一般性的鲁棒判别分析算法。本文的主要研究内容与成果如下：1.根据算法的鲁棒化方式不同，对现有鲁棒判别分析算法进行了分类。具体地，分为直接鲁棒判别分析和间接鲁棒判别分析两类。2.提出了一种核诱导距离度量的鲁棒判别分析算法。通过在距离度量中采用鲁棒径向基核（RBF），使该方法不仅适用于处理非高斯分布的非线性数据，还能有效处理含噪数据。值得指出的是，由于RBF核函数的多样性，该方法可被视为一个直接鲁棒判别分析框架。3.提出了一个新颖的间接鲁棒判别分析框架。该框架采用一种鲁棒主成分分析，即核诱导距离度量的鲁棒主成分分析，作为预处理算法。事先通过预处理手段除去数据中的野值，为后续判别分析算法清除了障碍。该框架本质的鲁棒性归咎于其在优化目标中，采用核诱导的、鲁棒的非欧距离替代原有的非鲁棒的欧氏距离。多种数据集上的实验结果验证了该框架的有效性与一般性。4.分别从理论与实验两方面，分析和比较了现有算法（state-of-the-art）及本文所提鲁棒判别分析算法的分类性能。根据多种数据集上的大量实验结果，总结出了一些有意义的结论，为后续研究提供了准备。关键词：线性判别分析；鲁棒判别分析；主成分分析；鲁棒距离度量；核诱导距离度量；降维ABSTRACTFeatureextractionplaysanimportantroleinpatternrecognitionanditaimsatsearchingthemostefficientfeatureusedforclassification.Lineardiscriminantanalysis(LDA)isoneoftherepresentativesandhasalreadybeensuccessfullyappliedinmanydomainssuchasfacerecognition,textclassification,informationretrieval,etc.LDAaimsatfindingaoptimalsubspaceofasetofprojectiondirectionsthatmakesthebetween-classdistanceasmaximalaspossiblewhilethewithin-classdistanceasminimalaspossibleinthereducedsubspace.However,intherealworld,duetosomeinevitablereasons,thereareusuallyafewnoisesoroutliersmixedupwiththedata,therefore,itissignificanttostudytherobustdiscriminantanalysis(RDA).Inrecentyears,althoughmanyresearchershavedevelopedsomeRDAalgorithms,neithertheinherentflawsofthemnortheinterrelationsamongthemhavebeendeeplytouched.Aimingatthisproblem,inthispaper,weanalyzeandcomparetherobustnessamongRDAalgorithmsbasedondifferentrobustdistancemeasures,fur