基于mapreduce框架下CNM算法的并行性研究.pdfVIP

计算机技术应用 ·theApplicationofComputerTechnology 基于mapreduce框架下CNM算法的并行性研究 文 ／吕家琦 近年来，随着 网络技术的飞 快发展与应用，尤其是社交网络 的 日渐普及及应用，社 团发现成 为一项重要的研究课题。基 于模 块度的社 团发现算法对于现阶段 的社 团划分研 究具有重要意义。 CNM算法就是基于模块度的算法中 的一种。本文提 出了基于Hadoop 的MapReduce框 架 下对 CNM算法 的研究分析。最后展望了该领域 未来的研究方向。 键词】社团发现算法模块度a №佛 MapReduce 图1：MapReduce计算流程 随着社会的不断发展和个体之间关系的 i复杂，这给传统的社交网络带来了极大考 段有很多种类的发现方法。例如：基于模块度 聚合相似的节点或者联系最为紧密的节点，最 由此，各类社团发现算法应运而生。基于 优化的方法，分裂方法，谱方法，基于推理的 终将分散的小社团聚合为大的社团，从而达到 度的社区发现算法是现阶段较流行，研究 方法等等。 社团划分的目的。CNM 算法用堆的数据结构 广泛的算法。CNM算法就是这其中的一 1．1模块度 函数 来计算和更新网络的模块度，所以其时间复杂 但对于社交网络中日渐增长的庞大数据量， 度可接近线性复杂度。 传统的数据存储及处理方式提出了巨大的 所有的社 团发现算法都需要有一个评价 在 CHM 算法的执行过程中用到以下数据 E。将全部数据信息存入到内存或是硬盘中 标准来衡量社团发现结果的合理性和有效性。 结构： !变得不现实。由此，分布式处理方式进入 这便引入了模块度 的概念。模块度的定义 由 (1)模块度增量矩阵AQ：记录了有边 f究者的视线中。分布式系统，因拥有多种 Newman等人提出，是 目前常用的一种衡量网 相连的社团之间的模块度增量。 j的物理和逻辑资源，可以动态的分配任务， 络中社区稳定度的方法。下面引入模块度的定 (2)最大堆H：该堆中包含了模块度增 《的物理和逻辑资源通过计算机网络实现信 义： 量矩阵△O中每一行中的最大元素。 换，鉴于分布式系统具有的高吞吐、高并 给定一个图G，它表示一个社交网络，C (3)辅助向量a：用来记录节点的度。 低延迟性的特点，可满足当今社团网络处 表示社交网络中的社区，m表示G中边的数量， j要求。 2MapReduce框架介绍 则： Hadoop是一个能够对大量数据进行分布 e=I／2m若节点i和j之间有边相连，否 MapReduc