基于云计算的文献合作网络的社团划分及演化分析.pdfVIP

本期话题 http: // 基于云计算的文献合作网络的 社团划分及演化分析* □ 杜雅红 白云龙 吴斌 / 北京邮电大学智能通信软件与多媒体北京市重点实验室 北京 100876 摘要：随着各领域科学研究的开展，文献数据与日俱增，关于文献数据的更深入的研究对于科研 对象的评价与趋势分析具有重要意义。同时，随着分析方法的成熟和应用场景的延伸，文献的分析带 给研究人员的一个挑战是如何在超大规模数据（PB级）中进行有效的挖掘。工业界和学术界越来越倾 向于使用基于分布式密集数据计算模型，如MapReduce等，来进行大规模数据挖掘。文章在云计算平台上 实现了文献数据的社团发现算法，并对学术会议的演化进行了分析。通过分析，可以清晰地看到活跃 在学术会议中的科研合作团队的核心科研工作者，这对进一步了解学术会议研究方向及动态具有很强 的指导性作用。 关键词：文献数据，图挖掘，社团划分，演化分析，云计算 DOI：10.3772/j.issn.1673—2286.2010.08.007 1 导言 间的合作关系等信息，以便很好地 在分布式文件系统GFS基础之上的 理清科技发展的脉络，合理地分配 MapReduce编程模型以及廉价集群 随着科学研究、通讯技术、 各种资源，同时有助于促进科技走 的建立，解决了许多大规模数据的 IT技术的快速发展，各种信息充斥 向市场化。 计算问题。 着人们的生活。随之而来的是越来 然而随着信息产业和整个社会 在众多科技合作网络的分析 越多的数据以及隐藏在数据中的各 的发展，越来越多的数据被收集起 中，社团划分以及网络演化分析是 种各样的关系，比如企业用户行为 来，仅成立10年的国家科技图书文 人们比较关注的两个方面。传统的 数据、通话数据、文献数据、网上 献中心 （N STL ）的数据总量已上 社团划分方法在处理大规模数据集 虚拟社区的关系数据、医学试验的 亿条，国内知名的数字期刊出版企 时，其性能总是很难满足要求，甚 各种繁琐数据等等。其中，对于引 业的数据规模都达到T级 （1012 ）。 至当数据集过大时，单机内存根本 领社会科学发展的科学文献网络， 因此，如何从海量数据中发现特定 无法承受而造成算法无法执行。所 人们希望从中探知：当今最热门的 知识，如何高效地处理海量数据几 以本文提出了一种建立在云计算基 学科方向是什么？哪些传统学科的 乎是任何一个信息分析机构要面对 础上的文献数据的社团划分方法， 研究已经走向衰败？对于某一领域 的问题。一般来说，并行计算能够 此方法在处理大规模数据集时是有 哪个研究者或者哪个研究团队是研 加快处理速度，而并行计算也有多 效的。同时，我们还在社团划分的 究的核心力量？各个团体间的合作 种选择，例如，在Web Service基础 基础上对合作网络的演化进行了分 模式是怎样的？人们已经对文献数 上的网格计算、基于P2P 的点对点 析。通过分析，可以清晰地看到活 据进行了很多方面的分析，比如社 计算、基于服务器集群的 “云计 跃在学术会议中的科研合作团队及 团发现、社会影响性分析、合作网 算”等。虽然方法众多，但却需要 团队的核心科研工作者，这对进一 络演化分析等。这些分析帮助我们 根据实际情况进行选择，以Google 步了解学术会议研究方向及动态具 获知各个领域的发展动态、资源分 为代表的 “云计算”以其应用简 有指导性作用。本文将按如下结构 布、交叉关联关系以及科研团队之 单、高效得到了广泛认可。它通过 组织：首先介绍基于云计算的图挖 * 本文得到国家自然科学基金项目和国家“十一五”科技支撑计划项目（2006BAH03B05）资助。 年第 期（总第 期）