深度生成模型的学习算法及其在推荐系统中的应用研究.pdfVIP

摘 要 摘 要 生成模型是机器学习中重要的无监督学习方法，能够以概率分布形式刻画数 据中的隐含特征。随着大数据时代的到来，深度学习方法在诸如自然图像等复杂 数据场景中取得了令人瞩目的成果。深度生成模型结合了深度学习的表示能力和 生成模型的统计理论基础，具有诸多优点，例如能够建模复杂形态数据的概率分 布、能够回答复杂数据中的推断问题、具备良好的泛化能力等，因而受到了学者们 广泛的关注。然而，由于深度生成模型通常包含复杂的神经网络结构，其学习和 推断方法面临着很多挑战：如何建模深度生成模型的模型不确定性；如何引入模 型先验知识；如何防止深度生成模型过拟合；如何对其隐含特征进行快速推断；如 何学习没有显式定义似然函数的隐式深度生成模型；如何解决隐式深度生成模型 学习中常见的模态坍缩问题等。本文针对上述深度生成模型学习算法的挑战，从 建模模型不确定性、提升样本多样性等角度展开理论研究，并探索其在推荐系统 场景中的应用价值。本文的主要贡献如下： 1. 提出双随机梯度马尔可夫链蒙特卡洛算法，对显式深度生成模型参数进行 （近似）贝叶斯推断，以建模模型不确定性，防止模型过拟合。创新性地提出了神 经自适应重要性采样方法，引入提议分布近似模型隐含变量的后验分布，快速地 估计了数据样本似然的梯度，克服了传统贝叶斯推断方法的低效问题。在不同的 显式深度生成模型上，提升了模型的学习质量。 2. 提出基于指导显式模型的隐式深度生成模型学习算法，用于学习缺乏显式 似然定义的深度生成模型。通过理论分析提出了有助于防止模态坍缩问题的训练 准则。创新性地利用隐式模型产生的样本作为显式模型的训练数据，将训练准则 形式化为双层优化问题，并引入了梯度展开技术近似求解双层优化问题。在保持 隐式深度生成模型样本质量的同时，解决了模态坍缩问题。 3. 在推荐系统场景中，提出基于用户-对象共自回归的协同过滤模型及其快速 学习算法。创新性地借助深度生成模型描述了用户行为的产生过程，刻画了用户 行为在用户间及对象间的相关性，并提供了用户及对象的隐含特征表示。创新性 地提出了基于动态选取小批量样本的快速学习算法，克服了用户行为数据不独立 的问题。在不同的个性化推荐任务中，提升了推荐性能。 关键词：深度生成模型；马尔可夫链蒙特卡洛；模态坍缩；推荐系统；协同过滤 I 目 录 目 录 第 1 章 引言 1 1.1 研究背景及意义 1 1.1.1 深度生成模型 1 1.1.2 推荐系统 2 1.2 研究现状及难点 3 1.2.1 相关工作介绍 4 1.2.2 研究难点及挑战 5 1.3 研究内容及主要贡献 6 1.4 论文组织 7 第2 章 背景知识 9 2.1 参数估计方法 9 2.1.1 最大似然估计 9 2.1.2 最大后验估计 10 2.1.3 后验均值估计 11 2.2 贝叶斯推断方法 11 2.2.1 变分推断方法 12 2.2.2 马尔可夫链蒙特卡洛方法 13 2.3 随机优化方法 16 2.3.1 随机梯度下降算法 16 2.3.2 Adam 优化算法 17 2.4 本章小结 18 第3 章 双随机梯度马尔可夫链蒙特卡洛算法 19 3.1 研究动机 19 3.2 显式深度生成模型及其贝叶斯推断 20 3.2.1 显式深度生成模型的定义 21 3.2.2 显式深度生成模型的学习 23 3.3 双随机梯度马尔可夫链蒙特卡洛算法 25 3.3.1 参数空间的随机梯度马尔可夫链蒙特卡洛采样 25 3.3.2 样本似然梯度估计——吉布斯采样 27 3.3.3 样本似然梯度估计——神经自适应重要性采样 28 IV