社交媒体数据的获取分析.docxVIP

社交媒体数据的获取分析 王铁刚 【摘要】本文主要介绍了对于社交网络中媒体数据的获取分析。首先介绍了一般 的获取策略，即获取数据的一般过程。然后根据当前情况，主要是对两种方式进行 分别分析。并在两种方式上分别提出了提高效率的一般方法。最后对这两种获取方 式进行性能比较，并做出总结。%This paper describes the acquisition of social network for analyzing media data. First introduced the general acquisition strategy, that the general process of data acquisition. Then based on the current situation, mainly for separately analyzed in two ways. And in the two ways are proposed to improve the general efficiency of the method. Finally, these two ways to obtain a performance comparison and conclude. 【期刊名称】《软件》 【年(卷)，期】2015(000)002 【总页数】6页(P86-91) 【关键词】媒体数据;方式;分析;效率 【作者】王铁刚 【作者单位】北京邮电大学计算机学院，北京100876 【正文语种】中文 【中图分类】TP393 随着互联网的快速发展，世界范围内的互联网用户也在急剧膨胀，各种言论充斥其 中，人们利用手机、电脑可以随时随地通过论坛、BBS、SNS等更新自己的动态、 发表言论。 微博作为Web2.0时代新生网络的应用形式，它集成了手机短信、博客和社交网 站的优点，使信息更加实时、内容更加简洁、社区更加活跃［1］。在最近几年，因 为其内容短小、实时性、便捷行、原创性、互动性和大众的特点已经被人们广泛接 受，用户可以随时、随地利用移动终端发布文字、图像、视频等，草根与名流共同 创造、传播和分享着信息，进行着没有界限的对话。 随着微博的普及，微博的传播速度也越来越快，其舆论导向的作用也越来越突出。 同时，信息量在传播中变得海量［2］。通过对微博信息进行挖掘和分析，关注其中 的社会热点话题，可探寻其规律并预测动向，分析热点事件的舆论趋势，特别是微 博信息传播的实时性可以应用于突发性社会事件和自然事件的监测和预警［3］。 “工欲善其事必先利其器”，要想对微博数据进行研究，获得微博平台上大量的数 据是要做的第一步。本文旨在对微博采集的方式进行分析，为实现对微博数据的高 效抓取提供依据，并对其性能进行测试，为建立统一的数据采集平台提供方便，以 便后续挖掘。 微博采集主要有两种方式，分别是开放API与网页解析。基于新浪API的数据抓 取策略性能高，但是因为服务器限制不能获取完整的数据集；基于网页解析的方案 可以获得最大的数据文本，但是效率却比API低。 系统实现依赖的具体技术有：媒体的爬取策略、Web2.0下OAuth认证、多线程 技术、http协议下载技术、XML数据集成、分布式技术。 大多数的社会媒体，例如Facebook、Twitter、新浪微博等均提供了数据访问的 API接口，其获取方式类似。先简单介绍主流的社会媒体的网络爬虫原理。 主流的社交网络均在一定程度上开放了数据平台，提供了数据访问的API接口。 调用社会媒体的API接口函数，获取人物的背景信息、社交信息、发布信息、交 互信息。社交网络的信息主要通过HTTP的方式进行传递图1），获取方式是 HTTP请求。社会网络在开放平台提供的基本API接口基础之上，又封装了不同语 言的SDK，主要有Java、PHP、Javascript Flash等，可根据数据的不同而选择 不同的开发语言，尽量减少请求次数和数据传输量，提高系统的分析效率［4］。社 会网络的信息获取主要有以下几个重要部分： 权限验证：社会媒体的信息获取必须在权限允许之内，请求的数据不涉及隐私， 是可公开的。 注意事项：使用者的请求在一定的时间内是有次数限制的，所以要合理的使用 请求。 依据上述原理，网络穿透对抗技术相关的特定人群所组成的社会网络，先简单介绍 社会网络的网络爬虫算法，如图2。 选择一组人物作为初始的种子节点，利用雪球采样策略，顺着人物的关注链向外爬 行，获取社会网络上每个人物节点的背景信息、社交信息，探测出整体网络。主要 思想如下： 选择一组社会媒体的人物｛ID1, ID2,…IDm｝作为种子节点，加入待爬行节点队列 Q。 如果Q二NULL 或超过阈值预设的爬行时间或扩展层数）则退出；否则，从