多视图深度高斯过程回归模型及其快速训练方法.pdfVIP

华东师范⼤学硕⼠学位论⽂ 摘 要 深度⾼斯过程（deep Gaussian process ，DGP ）是⼀种流⾏的概率建模⽅法， 它具有强⼤的功能，适⽤于函数近似和不确定性估计，能⼴泛应⽤于各个机器学 习领域。随着⼤数据时代的到来，数据的获取⽅式和特征类型不断增多，出现了 越来越多的多视图数据。然⽽，传统的DGP 主要处理的是单视图数据的建模问 题，缺乏对多视图情况的考虑。因此，本⽂主要研究的是多视图深度⾼斯过程， 提出了⼀般化的多视图深度⾼斯过程回归模型以及可以使训练过程更加⾼效的 预训练多视图深度⾼斯过程模型。 ⾸先，对于来⾃不同的来源或者是由不同类型特征构成的多视图数据，本⽂ 考虑了不同视图的数据特性，提出了⼀个端到端的多视图深度⾼斯过程（multi- view deep Gaussian process ，MvDGP ）回归模型，以区别地捕获不同视图的数据 和特征。在推理的过程中，本⽂在经典的概率推理⽅法的基础上做了两⽅⾯的 改进。⼀是没有像⼀般的贝叶斯训练框架⼀样强制地假设各潜变量层之间相互 独⽴，⽽是保留了模型假设的灵活性以确保模型的性能。⼆是采⽤了稀疏变分 推理和随机优化等技术，提⾼了模型对⼤规模数据的建模能⼒。同时，MvDGP 模型不局限于两个视图的建模，它可以泛化到更多视图的场景，且各个视图⽹ 络的深度可以根据数据特性灵活地进⾏设定。在真实数据集上的实验结果表明， MvDGP 模型对于多视图数据具有显著的建模表⽰和不确定性估计能⼒，并且在 ⼤规模数据中可⾏，其性能优于常⽤的多视图学习⽅法和最新的DGP 模型。 其次，为了进⼀步加快MvDGP 模型的训练速度，本⽂提出了⼀个预训练的 多视图深度⾼斯过程（pre-trained multi-view deep Gaussian process ，PreMvDGP ） 模型。基于⾼斯过程等价于⽆限宽的神经⽹络，以及神经⽹络和单层⾼斯过程的 训练难度低于深度⾼斯过程这两个事实，本⽂为MvDGP 模型设计了⼀个适应多 视图输⼊的两阶段预训练⽅法。在预训练的第⼀阶段，使⽤⼀个与MvDGP 模型 具有类似结构的深度神经⽹络对给定数据进⾏训练。在预训练的第⼆阶段，将第 ⼀阶段训练得到的神经⽹络中各个隐藏层值作为对应的单层⾼斯过程模型的输 ⼊和输出，训练得到各个单层⾼斯的参数。经过这两个阶段的充分训练，可以为 MvDGP 模型提供⼀组合适的初始参数，从⽽加快模型的训练速度并提升模型的 泛化性能。实验结果表明，PreMvDGP 模型在分类任务中与MvDGP 模型⼀样具 有突出的性能，显著优于常⽤的多视图学习⽅法、最新的DGP 模型和深度神经 ⽹络，且该模型适⽤于⼤规模的多视图数据。PreMvDGP 模型通过预训练⽅法可 以使模型更快地达到收敛，⼤幅缩减了训练所需的时间。该模型在保证分类性 能的同时提升了计算效率，其运算速度与最先进的DGP 模型相⽐具有明显的优 i 华东师范⼤学硕⼠学位论⽂ 势，在实际应⽤中具有重要意义。 综上所述，本⽂所提出的MvDGP 模型可以有效地处理⼤规模的多视图数 据，PreMvDGP 模型进⼀步地提升了计算性能。本⽂的⼯作是DGP 模型在多视 图场景和⼤规模数据中的泛化和完善。实验结果验证了所提出模型的合理性和 有效性。 关键词: 深度⾼斯过程，多视图学习，变分推理，随机优化，预训练技术 ii 华东师范⼤学硕⼠学位论⽂ ABSTRACT Deep Gaussian process (DGP) is a popular probabilistic modeling method, which is powerful and suitable for function approximation and uncertainty estimation. It is widely used in various fields of machine learning. With the