基于层次贝叶斯自适应稀疏的高斯混合模型-软件工程专业论文.docxVIP

研究生优秀毕业论文 大连理工大学硕士学位论文摘 大连理工大学硕士学位论文 摘 要 高斯混合模型(Gaussian Mixture Model，GMM)因其较好的灵活性、模型简易型 和理论成熟性而在统计学中广泛使用，且在诸多领域中，如图像处理、计算机视觉、数 据挖掘和机器学习等，获得良好性能。然而，一个重要问题是：面对来源于高维空间， 如数千维，数据时，GMM数百万维协方差矩阵估计将是一个极大挑战。究其原因在于， 我们需要同等数量的样本进行参数估计，而在诸多实际情形中，样本数量远不足于待估 计参数数量，从而产生“过拟合”现象。近年来，得益于LASSO变量选择和稀疏回归 模型的提出及迅猛发展，一系列有效方法关注于如何对高维参数空间施加稀疏约束，从 而挖掘出其内蕴的稀疏结构。具体到高斯图模型(Gaussian Graphical Model，GGM)， 一类方法由分析协方差矩阵结构延展至精度矩阵(逆协方差矩阵)结构；另一类方法则 是由优化一阶问题延伸至二阶问题。在众多方法中，最典型最重要的当属GLASSO (Graphical LASSO)。 在本论文中，针对GGM描述分布能力有限、GLASSO参数估计有偏，以及需要超 参数调节等缺陷，我们从结构化学习角度提出一种十分有效的层次贝叶斯自适应稀疏高 斯混合模型(Adaptive Sparsity GMM，ASGMM)。具体地，考虑到判别式L1范数等 价于生成式Laplace分布——通过两层贝叶斯描述，我们在GMM中注入Jeffrey非信息 先验获得两层贝叶斯自适应稀疏先验。该先验作用于精度矩阵，在挖掘其稀疏性同时大 大减少样本数量。更重要地，该先验不需要任何超参数调节——施加的非信息先验“让 数据自身说话”，且无偏估计的稀疏精度矩阵能自适应于数据。具体到算法细节，ASGMM 方法由三个步骤组成：首先，我们通过嵌入基于Je疏ry非信息化超先验的层次贝叶斯模 型来自适应估计GMM稀疏精度矩阵；其次，我们对GMM精度矩阵进行Cholesky分解， 用以保证其正定性；最后，我们针对ASGMM目标函数构造合适的0函数，进而利用 期望最大化框架求解出GMM精度矩阵元素值。 在合成数据集上，一系列实验结果表明，我们提出的ASGMM方法在拥有较小精度 矩阵估计误差的同时，较好地挖掘出精度矩阵的稀疏度(在凸约束上两者不可能同时获 取)。在真实数据集上，较之于GMM以及其它传统方法，ASGMM具有最优聚类性能。 这表明高维精度矩阵确实存在稀疏结构，且挖掘其稀疏性有助于数据聚类。 关键词：高斯混合模型；高维参数估计；层次贝叶斯；自适应稀疏先验；图结构学 习 万方数据 Hierarchical Hierarchical Bayes based Adaptive Sparsity in Gaussian Mixture Model Abstract Gaussian Mixture Model fGMM)has been widely used in statistics for its great flexibility， simplicity，and mature theory，and gained good performance in many applications．However， when facing high—dimensional data，e．g．，many thousands，parameter estimation for covariance matrix in GMM with millions of dimensionality iS a great challenge．In this case，the number of observation data iS far less than that of parameters tO be estimated，thus easily overfitting． Recently，benefitting from the rapid development of LASSO induced variable selection and sparse reRression model．a series of work focus on how tO impose sparse constraint on the high．dimensional parameter space．and then discover its intrinsic sparse structure．Specific to Gaussian GraDbjcal Model(GGM)，one type of methods are from anal