多视图混合高斯过程分类模型.pdfVIP

华东师范大学硕士学位论文 摘要 摘 要 高斯过程是一种功能强大的贝叶斯非参数模型，它既可以用于分类任务，也 可以用于回归任务，在许多领域中都具有广泛的应用。而基于高斯过程的混合模 型的提出更是进一步提高了其数据建模能力。然而，单视图的混合高斯过程模型 不能直接对现实中广泛存在的多视图数据进行合理有效的建模，这一事实限制了 混合高斯过程模型的实用性。 为了提高混合高斯过程模型的建模能力，使其能够更好地建模多视图数据， 本文提出了一种针对该模型的多视图学习新框架，即多视图混合高斯过程模型 （multi-view mixtures of Gaussian process, MvMGP ），并将模型应用于分类任务 中。具体的改进工作体现在以下三个方面。首先，本文利用协同正则化的多视图 学习思想，基于两点思路为模型设计优化的目标函数：一是为了利用单个视图的 信息，分别最大化每个视图中潜变量的后验分布；二是为了保持视图之间的一致 性，约束不同视图中潜函数的后验分布，使其尽可能地接近。其次，在模型求解 的过程中，由于后验分布的推导涉及复杂的积分运算，无法解析求解，因此，本 文尝试了两种贝叶斯推理方法来求解模型，分别是确定性近似的变分推理和随机 近似的马尔可夫链蒙特卡洛（Markov chain Monte Carlo, MCMC ）方法。最后， 为了更加准确高效地对MvMGP 模型的条件后验分布进行采样，本文还提出了一 种新的MCMC 采样方法，叫做分解的切片采样，并从理论和实验两方面验证了 该方法的正确性。 在多个真实数据集上的实验结果表明，新提出的MvMGP 模型性能优于原始 的混合高斯过程模型和几种前沿的多视图学习方法。而基于 MCMC 推理的 MvMGP 模型比基于变分推理的MvMGP 模型拥有更高的准确性。 关键词：混合高斯过程，协同正则化，多视图学习，变分推理，马尔可夫链蒙 特卡洛 I 华东师范大学硕士学位论文 Abstract ABSTRACT The Gaussian process is a powerful Bayesian nonparametric model. It can be used for both classification tasks and regression tasks. It has a wide range of applications in many fields. The proposed mixtures of Gaussain process model (MGP) has further improved its data modeling capabilities. However, the single-view MGP model cannot reasonably and efficiently model the multi-view data widely existing in reality, which limits the practicality of the MGP model. In order to improve the modeling ability of MGPs, especially the ability to model multi-view data, a new framework of multiview learning for the MGPs named the multi-view MGP model (MvMGP) is proposed and is instantiated for classification tasks in this paper. Th