概率图模型的学习算法研究.pdf

摘要 摘要 概率图模型结合概率论和图论，用紧凑的形式描述多元统计关系，目前广泛应用于 不确定性知识表示和推理。在大数据时代的今天，如何加快网络模型学习的速度，使之 能够在短时间内利用海量数据学习出复杂的网络模型，对充分利用数据的价值具有重要 意义。 概率图模型主要有贝叶斯网络和马尔可夫网络两种，本文主要关注于贝叶斯网络的 学习问题。贝叶斯网络学习分为结构学习和参数学习，其中结构学习是研究重点。贝叶 斯网络的结构学习是NP 难问题，因此多使用启发式算法或随机方法来降低网络模型学 习复杂度。本文提出了一种基于MCMC 方法对序列进行抽样的算法来学习贝叶斯网络 结构。相比于在图空间中进行抽样，对序列抽样显著减小了抽样空间。为进一步提高算 法效率，本文引入了一种新的序列评分函数，减少了传统评分函数的复杂计算，提高了 序列的评价速度，并使用新的整数与组合之间的映射算法，取代传统的哈希算法来计算 局部评分的存储位置，加快局部评分的查找过程。此外使用了贝叶斯参数估计方法来学 习网络模型的参数。 然后，对改进后的学习算法进行了并行化设计，以便在CUDA 平台上利用GPU 来 加速贝叶斯网络的学习。在改进算法中，预处理阶段计算局部评分表和MCMC 迭代学 习阶段对给定序列中每个节点的最佳局部评分都可以利用 GPU 线程来并行计算，而且 这两个阶段也是整个算法的核心，因此能够显著降低贝叶斯网络模型学习的时间。同时， 应用新的归约算法获取节点对应的最优父节点集合，降低了对显卡内存的要求。 最后，在实验阶段，本文选取了四个不同规模的贝叶斯网络对改进算法 mMCL 和 基于CUDA GPU 的PmMCL 并行学习算法进行性能测试，并与经典的MCL 学习算法 进行比较。实验结果表明，改进算法在保证了模型学习准确性的前提下，mMCL 算法在 一定程度上提高了贝叶斯网络模型的学习速度，PmMCL 并行学习算法显著加快了贝叶 斯网络的学习效率，且具有良好的可扩展性。 关键词：概率图模型，贝叶斯网络，结构学习，CUDA GPU ，并行计算 I Abstract Abstract Probabilistic graph model, which combines probability theory with graph theory, describes multivariate statistical relations in a compact form, and is widely used in uncertain knowledge representation and reasoning. In the era of big data, how to speed up the learning of network model and make it possible to learn complex network model from massive data in a short time is of great significance to make full use of the value of data. There are two kinds of probabilistic graph models: Bayesian network and Markov network. This paper mainly focuses on Bayesian network learning. Bayesian network learning is divided into structural learning and parameter learning, and structural learning is the focus of research. Bayesian network structure learning is NP-h