基于微博数据挖掘的舆情监测与分析平台研究与实现.docVIP

PAGE VI 基于微博数据挖掘的舆情监测与分析平台研究与实现 摘要 这些年，因特网以极快的速度成长，巨大的信息量导致大家不能从一种总体的，综合的视角来认识部分因特网中的数据，与此同时网络文化在安全方面的问题同样日渐严峻，网络中的突发情况频频出现会给社会产生极大的干扰及亏损，大家对它的重视程度日渐提升。目前，微博能够为普通的网民供应一类便利即时的互动平台，在民众的生活方面能够占据日渐增大的比例。然而当前，微博内同样具有部分不够和睦且有造假嫌疑的有失文雅的行动，严重的乃至涵盖反动型的言语。以上面的这些状况为前提，舆情监测和解析技术由此产生，想要准确指引社会言论，对于网络实施洗涤洁净，要求当局或有关经管机构能够供应科学的经管措施，舆情监测和解析平台变成了一类关键的处理计划。这个体系的核心任务则是对于微博的页面数据实施爬取、贮存、解析还有对解析之后的舆情数据实施展现，供应给当局或有关机构实施舆论监测还有准确的指引与调控。 此体系首要划为3个方面： 其一，数据搜集，这个体系经过探究开源型的爬虫构架Nutch、Crawler4j与爬虫内核，联合和的一系列相关的优势，研究得到一组关于微博的多线程模式的网络爬虫。经过爬虫得到微博的页面数据并且对其实施贮存操作。 其二，数据解析，在解析以前将对初始信息实施尤为关键的信息预先处置避免干扰之后的解析成果。这篇文章的解析办法其实就是以K-means这种算法为基础，与词共现度进行联合来甄别焦点话题，从而得到相关舆情，详细的流程就是通过信息预先处置之后，经过分割时间窗、每一个时间窗的词频增长率、相对频率的核算，由此提取得到微博数据内的核心词，之后参照核心词间的共现度实施K-means聚类，并且挑选得到适宜的核心词类簇用来陈述焦点话题，进而能够得到焦点的网络舆论。 其三，关于舆论的可见化展现，这个体系经过上一步的解析成果对于焦点话题还有舆论的态势以可见化这种样式实施展现。 关键词：舆情监测；数据挖掘；微博；K-means算法；热点话题发现  The research and implementation of Public Opinion and Analysis Platform based on Microblog data mining Abstract Recently， with the rapid development of Internet， It makes people to face the immensity data at loose ends. And meantimes， network security issues become increasingly prominent， Emergencies occur frequently result in tremendous social loss， therefore more and more attentions have been paid by people. Microblog is a new kind of Internet media platform that appeared in several years ago， Microblog is becoming increasingly important in our life. But on the other hand， there are some disharmony and uncivilized behavior， and even some expression of anti-government and disrupting society. For the above situation， Microblog public opinion warning and detecting technology came into being. The public opinion detecting and analysis platform to be a solution that to correctly guide public opinion， clean network environment and provide a new management means for relevant government departments. This system main goal is provide a service that public opinion detecting and analysis for relevant government departments to guide public opin