基于矩阵变元正态分布的正则化主成分分析.pdf

摘要

摘要

主成分分析(PCA)是一种广泛应用于矢量数据降维的技术，但在高维矩阵

型数据情况下，会产生维数灾难。为了解决这一问题，我们采用主成分分析的概

率扩展形式因子化主成分分析(FPCA)，并对PCA参数估计的方法进行改进，

采用分离的行和列协方差矩阵，与PCA相比，FPCA可以在显著减少参数数

量的同时保持降维效果。但当样本维度和样本量相差较大时，利用传统的极大似

然估计得到的协方差矩阵可能会表现不佳甚至不可逆，最终导致FPCA的降维

效果不佳。

鉴于此，本文提出了正则因子化主成分分析的方法。此方法建立在协方差矩

阵的极大似然估计基础上，但进行了改进以适应高维小样本的情景。这一方法

的核心思想是引入正则化，将协方差矩阵的估计问题转化为贝叶斯后验估计，从

而更好地利用先验信息来改善协方差矩阵的估计。根据协方差矩阵的先验性质，

我们提出了两种方式的正则化，分别对应协方差矩阵可分和不可分的情形，我们

将研究中提出的两种正则化参数估计方法应用于实验中，通过对估计的协方差

矩阵进行特征分解，实现了高维数据的降维。在真实的多元时间序列数据和彩色

人脸图像数据上进行实验，比较了不同估计方法的分类错误率，进一步证明了我

们方法的有效性和实用性。

关键词：矩阵数据；正则化；因子化主成分分析；最大后验估计

I

Abstract

Abstract

AbstractAbstract

ShuqingLi

AppliedStatistics

DirectedbyProf.JianhuaZhao

PrincipalComponentAnalysis(PCA)isawidelyusedtechniquefordimen-

sionalityreductionofvectordata.However,inthecaseofhigh-dimensionalmatrix

data,itencountersthecurseofdimensionality.Toaddressthisissue,weadopta

probabilisticextensionofPCAknownasFactoredprincipalcomponentanalysis

(FPCA),andimprovetheparameterestimationmethodsofPCA.Byutilizing

separaterowandcolumncovariancematrices,FPCAsignificantlyreducesthe

numberofparameterswhilemaintainingdimensionalityreductioneffectiveness

comparedtoPCA.However,whenthereisalargedisparitybetweensampledi-

mensionsandsamplesize,thecovariancematrixestimatedusingtraditionalmax-

imumlikelihoodestimationmayperformpoorlyorevenbecomenon-invertible,

ultimatelyleadingtosuboptimaldimensionalityreductionwithFPCA.

Inlightofthis,weproposeamethodcalledRegularizedFactorization-based