PCA联合子空间理论的规范化与扩展.pdfVIP

第 29卷 第 l2期 信 号 处 理 V01．29 No．12 2013年 12月 JOURNALOFSIGNALPROCESSING Dec．2013 PCA联合子空间理论的规范化与扩展 徐 斌 马尽文 (北京大学数学科学学院信息科学系和数学及其应用教育部重点实验室，北京 100871) 摘 要 ：对于高维数据的分类，主成分分析(PCA)联合子空间可为每类数据建立更为细致的概率模型，从而可有 效地提高贝叶斯分类的准确性。本文首先对 PCA联合子空间理论进行了规范化 ，提出了两个基本假设 ，并从理 论上证明了残差子空间参数 “代表特征根”的启发式取值正是其极大似然估计。本文进一步对样本残差的概率 模型进行了扩展，提出了扩展型逐类联合子空间算法。最后，本文通过在真实数据上实验结果证明了扩展型逐 类联合子空间算法的优越性。 关键词：主成分分析 (PCA)；贝叶斯分类；联合子空间 中图分类号：TP181 文献标识码：A 文章编号：1003—0530(2013)12—1638—06 TheoreticalNormalizationandGeneralizati0n 0f PCA JointSubspaceModel XU Bin MAJin—wen (DepartmentofInformationScience，SchoolofMathematicalSciencesandLMAM， PekingUniversity，Beijing，100871) Abstract： Fortheclassificationofhigh—dimensionaldata，PCAjointsubspacemodelcanaccuratelydescribetheproba— bilitydistributionofthesampledataof eachclassandthusimprovetheclassificationaccuracyofthecorrespondingBayesian classifier．Inthispaper，wefirstlymakecertaintheoreticalnomralizationofthePCAjointsubspace．Particularly，itstwo basicassumptionsareproposed．Moreover，itisprovedthattheusedheuristicsettingof theparameterreferredtoas “rep— resentativeeigenvalue”fortheresidualsubspaceisjustitsmaximumlikelihoodestimate．Wefurthergeneralizetheexpres— sionoftheprobabilitydistributionoftheresidualsubspaceandestablishthegeneralizedclass—wisejointsubspacealgorithm forBayesianclassification．Finally，theexperimentalresultsonseveralreal—wodddatasetsdemonstratethesuperiorityofthe generalizedclass—wisejointsubspacealgorithm． Keywords： principlecomponentanalysis(PCA)；Bayesianclassification；jointsubspace 据 ，而将样本在残差子空间的投影数据看作随机噪 1 引言