基于mapreduce的并行图序列社区挖掘算法研究-计算机应用技术专业论文.docxVIP

Nanjing University of Aeronautics and Astronautics The Graduate School College of Computer Science and Technology Research on Parallel Algorithm of Graph Sequence Community Mining Based on MapReduce A Thesis in Computer Application Technology by Tang jun Advised by Prof. Chen Songcan Submitted in Partial Fulfillment of the Requirements for the Degree of Master of Engineering December, 2011 承诺书 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进 行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容外， 本学位论文的研究成果不包含任何他人享有著作权的内容。对本论文所 涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标 明。 本人授权南京航空航天大学可以有权保留送交论文的复印件，允 许论文被查阅和借阅,可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或其他复制手段保存论文。 (保密的学位论文在解密后适用本承诺书) 作者签名： 日 期： 南京航空航天大学硕士学位论文 南京航空航天大学硕士学位论文 基于 基于 MapReduce 的并行图序列社区挖掘算法研究 I I PAGE PAGE IV 摘 要 作为数据挖掘的重要研究方向，图序列社区挖掘在社交网络等实际问题中有着广泛应用。 如何精确地获得图序列中有价值的信息，以及如何加快算法在大规模数据集上的速度尤为关 键。现有社区挖掘方法大多基于树状图记录的分裂算法或自底向上的凝聚算法，且多为静态 挖掘而无时间方面的考虑。针对上述问题，本文提出基于编码代价的图序列社区挖掘算法 GSCM，并设计出基于谱聚类的 GSCM-SC 算法，在 Hadoop MapReduce 并行计算框架下对后 者进行并行化研究提出了 PGSCM 算法。 本文研究二值图序列，首先提出了编码代价的概念，通过优化此代价函数提出 GSCM 算 法。算法不需任何参数，并借鉴最小描述长度原理使社区划分的复杂性与社区结构的质量达 到平衡。将信息压缩后再聚类以获得较好的初始划分，并利用遗传算法的随机演化和择优思 想来避免被困于局部极小值。根据新图对编码代价的影响，及时判断出社区结构的变化。并 在实际数据集上验证了 GSCM 的有效性。 而后基于谱聚类提出 GSCM-SC 算法，并对其性能瓶颈进行并行化提出并行图序列社区 挖掘算法 PGSCM。利用相似度矩阵数据点间的独立性对其并行化；利用 Lanczos 方法解决 图拉普拉斯矩阵特征向量计算的并行化；利用 K-Means 计算数据点与聚类中心距离及迭代的 独立性对其并行化。并用多台虚拟机构成机器集群来搭建 Hadoop 平台，验证算法在真实数 据集上的有效性及其性能提升。 最后，初步探索了图序列社区挖掘灰度方面的问题，为今后提供了很好的研究方向。 关键词：图序列，社区结构，代价函数，MapReduce，并行化 ABSTRACT As an important branch of data mining, community mining of graph sequence is widely applied in practical problems such as social networks. It’s critical about how to obtain the valuable embedded information and how to accelerate algorithm on massive data sets. Current methods almost adopt the splitting algorithm based on tree-map record and bottom-up agglomerative algorithm, and are static mining without consideration of time aspect. Based on coding cost, we propose a graph sequence community mining algorithm GSCM, and propose GSCM-SC based on spectral cl