基于贝叶斯网络的大数据因果关系挖掘-计算机应用技术专业论文.docxVIP

万方数据 万方数据 摘要 2010 年，全球的数据量跨入了 ZB 时代，根据 IDC 预测，至 2020 年全球将 拥有超过 35ZB 的数据量，海量数据将直接或者间接的影响我们的日常工作、生 活，乃至国家经济以及社会的发展[1]。大数据时代已经到来。随着大数据的快速 发展，以概率统计为基础的机器学习在近年来受到工业界和学术界的极大关注， 并在互联网、金融、自然语言、生物等领域获得很多重要的应用，其中贝叶斯网 络在过去多年也得到了快速发展，并且成为非常重要的一类机器学习方法[2]。 贝叶斯网络是描述随机变量之间因果关系图的模型，是概率理论、因果推理 与图形理论的结合，也是传统的基于数据的统计方法和强调知识的人工智能方法 的统一[3]，其重要应用之一是随机变量之间的因果知识表示和推理。贝叶斯网络 由结构和参数两部分构成，分别用于定性与定量描述变量之间的因果关系，它具 有多功能性、有效性和开放性等特征，能够有效的将数据转化成知识，然后利用 这些转化后的知识进行推理，来解决现实世界中的不确定性方面的问题，其有效 性已在金融风险分析、信息安全、DNA 分析、软件智能化、医疗诊断、系统分析 和控制等许多领域得到验证。 目前，对于非时序的常规数据，通常采用贝叶斯网络来挖掘其中的因果关系； 而时序的常规的单时间序列一般采用格兰杰方法来挖掘其中特定的因果关系[4]， 但是这种方法存在诸多问题。随着大数据时代的来临，大数据技术为我们分析问 题和解决问题提供了新的思路和方法。与常规数据集相比，在大数据环境下进行 数据挖掘将得到更多更全面的信息。未来从大数据中发现因果关系以及在常规数 据中挖掘一般因果关系将是一种趋势。 为了改善传统格兰杰模型在时间序列因果关系挖掘中出现的弊端，改进并完 善因果关系挖掘模型，本文提出了在大数据环境下使用二阶贝叶斯网络模型进行 因果关系挖掘。该模型采用最小描述长度（Minimum Description Length，MDL） [5]原理来进行打分。通过对期货样本数据分析，并对原始时间序列进行离散化、 属性约简、重构等处理后进行二阶贝叶斯网络模型训练，不仅可以挖掘节点与节 点之间的因果关系而且可以发现因果关系之间的联系。 本文的主要工作和主要研究成果如下: 1.分析对比现有因果关系挖掘模型和贝叶斯网络结构学习方法，选择基于 MDL 打分原理的贝叶斯网络模型作为本文的研究方法； 2.提出了一种新型的贝叶斯网络模型：二阶贝叶斯网络模型。设计出了新型 模型构建的方法，并实现了相关算法。 3.利用二阶贝叶斯网络推理模型对期货时间序列进行仿真实验，实验不仅得 到了单个期货时间序列内部节点之间的因果关系，而且得到了多个时间序列边与 边之间的因果关系。 关键词：大数据 贝叶斯网络 最小描述长度 因果关系 数据挖掘 Abstract The global data entered a new age of ZB in 2010. According to the prediction of IDC, the global data will reach 35 ZB by 2020. Large amounts of data will affect our work , life and even nation’s economy and social development in real time. The Big Data era has come. With the rapid development of large data, probability-based statistical machine learning caused great concern from industry and academia in recent years and obtained many important successful application in the Internet, finance, natural language, biology and other fields, including that Bayesian network also got fast development over the years and became a very important machine learning method. The Bayesian network is a model describing the causal relationship graph between random variables.It is a combination of probability theory,causal re