基于主题模型网络舆情监控系统设计.docVIP

基于主题模型网络舆情监控系统设计 　　摘要：网络舆情是近年来研究的热点。现有的舆情监测系统大多采用基于统计和特征关键词的方法，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。而主题模型正是近年来大量使用的语义挖掘的方法，其中LDA主题模型使用最多。结合了基于统计和LDA主题模型两种方法，应用于网络舆情监控。在基于统计的基础上进一步进行语义的挖掘，能够对舆情信息更加准确的分析。 　　关键词：网络舆情；舆情监控；主题模型；LDA；语义挖掘 　　中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2015）07-0090-04 　　Abstract： Network public opinion is a research hotspot in recent years. Most of the existing public opinion monitoring system used the count of word or key-word， in this way， lost the semantics of the document. Topic model is a good semantics mining model， and is very popular in recent years. LDA is most commonly used. Combining the statistics and LDA topic model， designed a public opinion monitoring system. Based on counting of key-word， mining the semantics of documents， can exactly analyses the public opinion. 　　Key words： network public opinion； opinion monitor； topic model； LDA； semantics mining 　　1 引言 　　互联网是一个开放的信息平台，随着互联网的发展，互联网上的信息也是以指数级的方式增长，互联网上的信息也是鱼龙混杂。由于任何人都可以使用互联网，除了可以从网络上获取信息，同时还能够通过网络发布信息、转载别人的信息、对别人发布的信息发表自己的看法。对于多数人们都关心的话题很容易形成热点，金字塔式的扩散。尤其对于一些民生事件，很容易形成网络舆情。所以以需要能够对网络舆情[1，2]进行监控。 　　近年来，对于网络舆情的监控已经取得了很大的成果，不少网络舆情监控系统也建立了起来。目前对网络舆情监控系统所以使用的方法基本上是基于TF-IDF[3，4]的词频统计的方法，利用向量空间模型（VSM）[3，4]对文本进行表示，通过计算向量之间的余弦值来计算文本之间的相似度，采用聚类和分类算法来进行舆情热点挖掘和跟踪。目前对于这种方法的研究已经趋于成熟。但是这种存在一些缺陷，1）使用TF-IDF词频统计的方式只考虑了词语的频率，并没有能够真正体现词语的含义；2）向量空间模型来表示文本时，其数据空间的维度有可能是非常高的，这会使得计算非常复杂。 　　另一方面，学者们开始着手于从语义方面对文本的分析进行研究，LDA[5]主题模型就是目前使用最多的语义分析方法。LDA模型对文档集进行建模，挖掘出其中隐含的主题分布，其主题空间[6]的规模是K×N，与文本集规模无关。虽然LDA主题模型于2003年就已经提出，而且已经应用于很多数据挖掘的领域当中，但是在舆情监控方面的应用暂时还没有。 　　因此本文针对传统舆情分析基于统计方法的缺点跟LDA主题模型的优点，提出把LDA主题模型应用于舆情监控当中，同时把基于统计的方法跟LDA主题模型相结合，能够更准确的分析出网络舆情，更好的跟踪舆情的发展态势。 　　2 网络舆情监控 　　网络舆情监控与分析的流程大体可以如图1所示。 　　2.1 信息采集 　　通过网络爬虫（又称网页蜘蛛[6]，网络机器人）不断的从互联网上，按照一定的规则，自动的抓取互联网上页面，形成一个巨大的网页文本集。爬虫的原理是从一个或若干个初始网页的URL开始，获取初始网页上的URL，在抓取的过程中不断的从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。 　　2.2 信息预处理 　　由于爬虫抓取的网页是原始网页，网页中的数据非常复杂，多以无结构和非半结构化[6]结合的方式掺杂在一起，其中除了我们需要的主体内容外还有很多其他无用的信息，如广告，版本等。因此需要把没用的信息过滤掉，只提取出其中的主体文本内容。 　　同