一种基于社交媒体短链接网页舆情热点数据挖掘方法.docVIP

一种基于社交媒体短链接的网页舆情热点数据挖掘方法 　　摘要：近年来，网络舆情热点数据挖掘受到广泛关注。获取社交媒体数据并从中找出舆情热点较容易实现，但网页舆情热点数据挖掘现有方法存在系统开销巨大、时效性差等问题。从社交媒体中日益流行的短链接入手，分析其对网页舆情热点挖掘的价值，并在此基础上提出一种网页舆情热点数据挖掘方法。 　　关键词关键词：社交媒体；短链接；舆情热点；数据挖掘 　　DOIDOI：10.11907/rjdk.151894 　　中图分类号：TP391 　　文献标识码：A文章编号文章编号2015）011013902 　　作者简介作者简介：郭林（1981-），男，上海人，硕士，上海市公安局工程师，研究方向为互联网技术。 　　1网络舆情热点及现有数据挖掘方式 　　1.1网络舆情热点 　　舆情是指公众对于现实社会以及社会中各种现象、问题所表达的信念、态度、意见和情绪表现的总和，相对具有一致性、强烈程度和持续性，对社会发展及有关事态的进程会产生一定影响。 　　随着个人电脑、智能手机等设备的普及和新兴市场内不断增长的互联网访问量，网络已成为人们获取与发布信息的主要渠道。根据英国《经济学人》杂志2010年的估算，全球网络信息总量的复合年增长率已经达到60%，且正日益加快。而美国国际数据公司（IDC）更是提出了“数字宇宙”的概念，并预计到2020年，“数字宇宙”规模将超40ZB。通过网络这一新兴传播载体，传统舆情有了新的表现形式，即网络舆情，它具有传播迅速、信息多元、方式互动等特点。 　　网络舆情热点是网民思想情绪和利益诉求在网上的集中反映，是网民热切关注、集中议论的聚焦点。它是社会舆情热点在网络上的映射，反过来也会对现实社会产生深刻影响。因此，越来越多的政府部门和企事业单位都愈加重视网络舆情热点。 　　1.2网页舆情数据挖掘方式 　　想要从浩如烟海的网络舆情中甄别筛选出热点舆情的前提是尽可能多地获取网络舆情数据。网络舆情数据的主要来源有：网站、论坛、博客、社交媒体等。其中，微博等社交媒体一般都内嵌搜索引擎，对外开放了API接口，针对性的数据爬虫技术也相对成熟，且大多自带热门话题排行等功能，因此获取社交媒体数据并找出其中的舆情热点并非难事。本文将网络舆情数据挖掘的范围重点放在除社交网络之外的网页数据上。目前，网页舆情数据的挖掘主要依靠搜索引擎来实现，主要分为以下3类[56]： 　　（1）目录式搜索引擎（Search Index/Directory）。以人工或半自动方式搜集信息，人工形成摘要并分类，实现目录浏览和检索功能。这一方式费时费力、信息量少、更新慢，已不适应当前网络发展。 　　（2）全文搜索引擎（Full Text Search Engine）。这种引擎一般拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）、“机器人”（Robot）或“爬虫”（Crawler），通过链接从互联网上提取各个网站的信息并建立数据库，实现整个互联网公开网页数据采集。对于互联网出现的新数据，全文搜索引擎通过一系列优化算法来提高采集效率。常用策略有：①依赖于已抓取网页中所含的外部链接，凡采集系统识别为未记录的站点或内容，就会被安排抓取任务；②识别各站点的网页更新率来调整采集频率；③依据各站点的分类属性来确定采集或解析的精度。 　　目前，全文搜索引擎的采集策略已经是最优化的网页舆情数据采集机制，但它的不足之处在于投入大。由于其目标是尽可能快速地采集全世界所有的互联网公开网页数据，面对的数据体量和采集频率要求极高。目前世界范围内主流的全文搜索引擎Google每年投入超过百亿美元用以维持其庞大的采集系统和搜索产品的维护与开发。同时，由于采集面过于广泛且缺乏针对性，大大降低了其数据采集的时效性。数据即便采集回来，也只能通过相同话题的聚类算法[7]来粗略判断其中的网络热点。因此，全文搜索引擎拓扑全网的采集策略并不适用于那些有明确数据需求，只关注互联网中极小部分网页舆情热点数据的需求。 　　（3）元搜索引擎 （META Search Engine）。这类引擎在接到用户关键词查询请求时，同时在其它多个引擎（一般是全文搜索引擎）上进行搜索，并将结果汇总排序后反馈给用户。由于直接使用其它引擎的搜索结果，元搜索引擎在系统开发维护方面花费极低，但在时效性和网络舆情热点算法上也存在全文搜索引擎的缺点，不再赘述。 　　2短链接及其价值 　　2.1短链接的概念 　　短链接也称短网址（URL shortening），是一种应用于互联网的有效缩短网址长度，但仍然能访问原始网络地址的技术[8]。通常包含短链接生成和地址重定向两个过程。短链接服务提供商会提供用户一个包含脚本的界面，该脚本包含请求缩短的目标长地