社会网络大数据剖析框架及其关键技术.docVIP

社会网络大数据剖析框架及其关键技术 　　Social Networks Based on Big Data： Analytical Framework and Key Techniques 　　中图分类号：TP391 文献标志码：A 文章编号：1009-6868 （2014） 01-0005-006 　　摘要 提出了一套社会网络大数据的分析框架，并分析了其关键和核心技术。介绍了基于该框架的清华社会网络大数据分析系统（THSNAS），从个体、群体、事件和整体四个方面给出了系统分析结果。社会网络大数据的分析框架既能为社会网络大数据的深入分析提供理论依据和指导方法，又能为广告精准投放、个性化信息推荐、社会管理等方面带来重要价值。 　　关键词： 社会网络；大数据；分析框架 　　Abstract： This paper proposes an analytical framework for social networking based on big data， and it elaborates on key techniques. In addition， this paper introduces Tsinghua Social Network Analysis System （THSNAS） based on the above framework and shows results in terms of individual， group， event and holistic analysis. The analytical framework can provide theoretical and practical guidance for social network analysis， and has great value in terms of precision advertising， personalized information recommendation， and social management. 　　Key words： social network； big data； analytical framework 　　随着Web2.0技术的不断发展，社会网络[1]发展势头强劲，已经成为用户数最多、传播影响最大的新媒体平台。其巨大的用户群实时产生的庞大信息量是典型的大数据，具有大数据的4V特性：数量（Volume）、类型（Variety）、速度（Velocity）和可用性（Veracity），具体特征如下： 　　（1）超大规模的数据量 　　截止目前为止，Facebook、Twitter、新浪微博、腾讯微博的用户量已经分别超过12亿、5.5亿、5.4亿和5.8亿，此外，四大社会网络的每日消息量也已经分别超过了10亿、2.5亿、2亿和2亿。这些超大规模的数据量为信息挖掘提供了丰富的资源。 　　（2）纷繁复杂的数据类型 　　社会网络中的每个用户都具有基本属性信息，这些属性包括用户名称、性别、所属位置、描述、创建时间、好友数量等；用户与用户的好友关系构成了关系数据；用户基于已经存在的关系或者共同兴趣构成了多种团体，产生了团体数据；用户每时每刻发表的观点、评论、转发等信息形成了非结构化的信息数据；用户上传的图片、音频、视频形成了多类别的非结构化数据等。社会网络中包含的数据类型繁多、结构不一。这些数据类型的多样性，为信息分析和挖掘带来了巨大的挑战[2]。 　　（3）极快的增长速度 　　伴随着社会网络火热发展的同时，社会网络中的数据量也呈现极快的增长的态势。截至2013年6月30日，Facebook用户数比上年同期增长21%；截至2013年9月，Twitter用户数比2012年底增长了16.7%；截至2013年3月底，新浪微博用户数比2012年底增长了6.6%；截至2013年9月，腾讯微博用户数比上年年底增长了6.8%，此外，社会网络中的消息量也随之快速增长。 　　（4）可观的数据可用性 　　社会网络的出现触发了个人、企业、国家等不同层面的兴奋点[3]，个人想通过社会网络分析了解自身或者他人的个人爱好和行为习惯，企业想通过社会网络分析谋求更大的商业利益，国家想通过社会网络分析进行高效的社会管理。社会网络已经引起了国家战略、企业规划、商业模式、营销策略、生活观念、行为习惯等方面的变化[4]。 　　目前，已经出现了一股研究社会网络的热潮，之所以诸多国家、企业、专家、学者都在积极研究社会网络[5]，是因为社会网络犹如金矿、石油、天然气一样，蕴含着巨大的信息宝藏。社会网络也认证了“数据为王”，谁能更快、更准、更全地掌握数据，谁能更有效地分析挖掘社会网络所隐含的信息价值，谁能预测信