面向大规模图数据的挖掘分析算法研究-计算机系统结构专业毕业论文.docxVIP

万方数据 万方数据 西安电子科技大学 学位论文独创性(或创新性)声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 日期 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 本人签名： 日期 导师签名： 日期 摘 摘 要 万方数据 万方数据 摘 要 近年来，随着社交网络的大力发展和图数据表达的广泛应用性，图数据的规 模呈爆炸性增长，这对大规模图数据挖掘分析提出了巨大挑战。现阶段都是采用 大规模图数据处理系统对图数据进行挖掘和处理。 然而，现有的大规模图数据挖掘处理技术大部分都是离线批处理的，对高效 的图数据挖掘分析技术研究较少。本文正是以这个思路为出发点，提出了基于 Arbor 的高效图数据挖掘分析编程模型。本文研究了图数据库和大规模图数据处 理系统，提出了基于 Arbor 的高效图数据挖掘算法编程模型，利用该编程模型和 MapReduce 实现了大规模图数据挖掘分析中重要算法：PageRank 算法、单源最短 路径算法和广度优先遍历算法，最后搭建了实验测试环境，在数据集上对上述三 个算法从运行时间、内存消耗上进行了全面的性能评测，并与开源系统 Hama、 迭代式处理系统 Spark 进行对比。实验结果证明：基于 Arbor 的图算法性能明显 优于开源系统 Hama、Spark、Hadoop。 本文提出的基于 Arbor 的高效图数据挖掘分析编程模型，也可以用于基于 Arbor 的其他数据挖掘算法的实现中。本文设计和实现的重要的图数据挖掘分析 算法：PageRank，单源最短路径和广度优先遍历算法，可以用于社交网络中社区 发现，网络舆情分析等。 关键词：Arbor Hadoop PageRank 单源最短路径 广度优先遍历 Abst Abstract 万方数据 万方数据 Abstract In Recent year, with the increasing development of social network and the widely used graph data, there is an explosive growth trend of the scale of graph data. How to mine and analyze big data better has attacted much attention. Therefore some research institutes and industries leverages massive graph data processing system to solve the problem of mining and processing big data. However, the existing massive graph data mining and processing techniques are mostly off-line processing. Efficient analysis and process on graph data technology is less. Therefore, the thesis proposes efficient graph data mining programming model based on Arbor platform. The efficient algorithm can be developed by the algorithm programming model easily. In this thesis, the main contributions are as follows.Firstly, the thesis designs efficient graph data mining programming mo