微博数据挖掘与分析算法的研究与实现.docVIP

PAGE V 微博数据挖掘与分析算法的研究与实现 摘要 近年来，互联网发展迅速，海量的信息使人们无从从一个整体的，全面的角度去了解一些互联网上的信息，同时网络文化的安全问题也日益严重，网络突发事件的频繁发生给社会造成了巨大的影响和损失，得到了民众日益增高的关注。微博作为现今网络平台给广大的网民用户提供了一个方便快捷实时的交流平台，微博在人民的生活中占有的比重越来越重。但是目前，微博中也有一些不和谐的、虚假的不文明行为，甚至包括反动言论。基于上述情况，舆情监测与分析技术应运而生，为了正确引导舆论，净化网络环境，政府或相关管理部门就需要提供有效的管理手段，舆情监测与分析平台成为了一种重要的解决方案。本系统的主要目的，就是针对微博的网页信息进行爬取、存储、分析以及对分析后的舆情信息进行展示，提供给政府或相关部门进行舆论监测以及正确引导和控制。 本系统主要分为三个部分： 第一是信息的采集，本系统通过研究开源爬虫框架Nutch、Crawler4j和WebCollector爬虫内核，结合Nutch内核+插件的机制以及Crawler4j良好的用户接口的优点，研究实现了一套针对微博的多线程网络爬虫。通过微博爬虫获取到微博的网页信息并将其进行存储。 第二是信息的分析，在分析之前会对原始数据进行十分重要的数据预处理以免影响后续分析的结果。本文的分析方法是基于K-means算法和词共现度相结合去识别热点话题进而获取舆情，具体过程为经过数据预处理后，通过划分时间窗以及每个时间窗的词频增加率和相对频率的计算抽取出微博信息中的主题词，然后根据主题词之间的共现度进行K-means聚类，并筛选出合适的主题词类簇用以描述热点话题从而获取热点网络舆情。 第三是舆情的可视化展示，本系统通过第二部分的分析结果对热点话题以及舆情趋势进行了可视化的展示。 关键词：舆情监测；数据挖掘；微博；K-means算法；热点话题发现  The research and implementation of Public Opinion and Analysis Platform based on Microblog data mining Abstract Recently， with the rapid development of Internet， It makes people to face the immensity data at loose ends. And meantimes， network security issues become increasingly prominent， Emergencies occur frequently result in tremendous social loss， therefore more and more attentions have been paid by people. Microblog is a new kind of Internet media platform that appeared in several years ago， Microblog is becoming increasingly important in our life. But on the other hand， there are some disharmony and uncivilized behavior， and even some expression of anti-government and disrupting society. For the above situation， Microblog public opinion warning and detecting technology came into being. The public opinion detecting and analysis platform to be a solution that to correctly guide public opinion， clean network environment and provide a new management means for relevant government departments. This system main goal is provide a service that public opinion detecting and analysis for relevant government departments to guide public opinion by crawl the Microblog web to obtain w