基于Mapreduce的大规模社会网络提取方法研究.doc

施 佺1，2 ，肖仰华3 ，温文灏3 ，朱乾钱3 ，王恒山1 ( 1． 上海理工大学 管理学院，上海 200093; 2． 南通大学 计算机科学与技术学院，江苏 南通 226019; 3． 复旦大 学 计算机科学技术学院，上海 200433) 摘 要: 从海量非规范 Web 数据源提取大规模高质量的社会网络有着广阔应用前景和较高学术价值，同时也 面临着海量计算所带来的巨大挑战。为此，以 Digg 新闻评论网站为信息源，以提取网站用户之间的共同兴趣网 络为主要目标，提出了基于云平台的社会网络提取系统框架，实现了基于 Mapreduce 的大规模社会网络提取方 法。实验结果表明，提出的方法具有较好的扩展性和伸缩性，能够胜任从异构 Web 数据源提取高质量的大规模 社会网络的计算任务。 关键词: 社会网络提取; 关系提取; 云计算; Mapreduce; 社会网络 中图分类号: TP311 文献标志码: A 文章编号: 1001-3695( 2011) 01-0145-04 doi: 10． 3969 / j． issn． 1001-3695． 2011． 01． 041 Research on method for extracting large-scale social network based on Mapreduce SHI Quan1，2 ，XIAO Yang-hua3 ，WEN Wen-hao3 ，ZHU Qian-qian3 ，WANG Heng-shan1 ( 1． School of Management，University of Shanghai for Science ＆ Technology，Shanghai 200093，China; 2． School of Computer Science ＆ Tech- nology，Nantong University，Nantong Jiangsu 226019，China; 3． School of Computer Science，Fudan University，Shanghai 200433，China) Abstract: Extracting large-scale social networks from massive heterogeneous Web data is of both theoretical and practical sig- nificance． However，one of definite features of this task was large-scale computing，which remains to be a great challenge that would be addressed． Cloud computing platform had provided us new opportunity to overcome this challenge． Hence，efforts would be dedicated to investigate the methods to extract large social network from Web data by cloud computing techniques． Specifically，proposed a Mapreduce-based approach to extract common interest network from DIGG． The experimental results show that the proposed method has good scalability and extensibility，having the capability to extract large-scale social network of high quality from heterogeneous Web data sources． Key words: social network extraction; relation extraction; cloud computing; Mapreduce; social network  0 引言 社会网络是由各种社会实体及其之间的关系构成的。社 会网络分析( social network analysis，SNA) 是理解人类行为、分 析社会结构的重要工具。社会网络分析不仅在社会学各领域 得到普遍应用，在情报学、信息检索、信息行为和信息计量学领 域也得到推广和应用; 社会网络分析还对网络知识发掘、科学 评价、网络信息