基于主题模型网络微博舆情分析.docVIP

基于主题模型网络微博舆情分析 　　摘要：LDA模型对长文本聚类有优势。将微博文本按一定规则构建长文本，根据文本中隐含的丰富语义信息，将SVM模型与LDA模型相结合，利用K-Means算法聚类。实验结果表明，SVM和LDA相结合的模型，明显提高了聚类质量和稳定性。 　　关键词：SVM模型；LDA模型；微博舆情；K-Means算法聚类 　　DOIDOI：10.11907/rjdk.161005 　　中图分类号：TP319 　　文献标识码：A 文章编号：1672-7800（2016）005-0153-02 　　0 引言 　　互联网对社会的影响力与日俱增，网络舆情研究越来越受到重视。随着论坛、社区、博客、微博、微信等新兴互联网媒体的兴起，社会舆情的传播速度变得越来越快。因此，加强舆情信息的监控，及时掌握舆情动态，利用现代信息技术促进网络舆情信息健康有序发展，是各级政府部门的重要工作之一。 　　主题模型（Latent Dirichlet Allocation，LDA）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构，是目前公认的自然语言处理中较好的模型之一。为了使LDA模型较好地处理微博文本，以获得较有价值的舆情信息，先将微博集合信息进行粗分类，构成主题较为明确的长文本集合，利用数据预处理、特征词提取，用TF-IDF策略得到SVM特征词空间向量，结合LDA进行聚类，得到微博舆情热点话题。本文先将微博集合按一定的规则构成长文本集，将LDA主题模型与SVM有机结合，从特征词和主题两个方面对文本进行聚类分析，以弥补两种方式的不足，提高了聚类准确率。 　　1 相关研究 　　LDA模型是Blei[1]提出的一种基于潜在Dirichlet分布的概率主题生成模型，该模型生成文本过程：一系列主题以服从多项式分布形式生成每个文本，再从这些主题中同样以服从多项式分布的方式抽样出每个单词。刘振鹿等[2]应用LDA模型进行文本的潜在语义分析，将语义分布划分成低频、中频、高频语义区，以低频语义区的语义进行Web游离文本检测，以中、高频语义区的语义作为文本特征进行文本聚类，采用文本类别与语义互作用机制对聚类结果进行修正，获得了较好的聚类效果。曹娟等[3]研究了LDA模型的最优化问题，证明当主题之间的相似度最小时模型最优。王少鹏等[4]提出了一种基于LDA的主题模型文本聚类方法，利用TF-IDF算法和LDA主题模型，通过耗费函数确定文本相似度的融合系数，进行线性结合来获取文本之间的相似度，通过计算得到文本相似度矩阵，使用K-mean进行文本聚类，利用F值对聚类结果评估，取得了良好的聚类效果。但LDA仅对于长文本效果较为突出，对具有短文本特点的微博文本分类往往效果不明显。 　　2 基于LDA与SVM结合的舆情获取 　　2.1 微博数据采集 　　微博舆情信息数据采集是进行舆情分析的基础。一般情况下，微博信息的获取都是通过专门的获取工具，比如网上免费提供的新浪微博数据获取采集器 V1.0绿色版（http：///soft/141381.html）等。 　　2.2 微博长文本集构建 　　本文实验数据是新浪网上采集的9 800条微博信息，采用同一用户某时间段内（本文选取48个小时）所发出的微博按时间顺序排序构造一个长文本集。具体算法如下： 　　算法1：构建微博长文本集 　　该算法将每个用户在时间间隔T0（选取T0=24）内发出的微博有序地构建了一个长文本向量，这基于两方面考虑：①假设每条微博知识反映一个主题；②一个用户连续发出微博为一个主题的概率很大，因此某一时间段内连续发出的微博只会是有限个主题。 　　2.3 基于LDA和VSM的聚类算法设计 　　2.3.1 LDA模型 　　LDA模型具有清晰的层次结构，依次为文档集合层、主题层和特征词层。 　　LDA模型是典型的有向概率图模型[6]，由参数（α，β）确定，α反映了文档集合中隐含主题间的相对强弱，β刻画所有隐含主题自身的概率分布。其中θk表示文档主题的概率分布，φk表示特定主题下特征词的概率分布，-表示文档集的文本数，K表示文档集的主题数，N表示每篇文档包含的特征词数。 　　2.3.2 LDA 和VSM结合的聚类算法 　　3 实验结果与分析 　　3.1 线性相关系数λ 　　λ分别取值0.1-0.9时，计算其漏判率、错判率和耗费函数值[4]，通过实验数据可以看出，漏判率、错判率和耗费函数值先是随λ的值增大而减小，在0.6处达到最低点，而后随着λ的值增大而增大，因此λ=0.6时聚类效果最佳，所以本文实验取λ=0.6。 　　3.2 聚类质量检测 　　基于数据集的分布情况常用F值进行评价。F值评价原理是利用查全率和查准率对聚类结果质量进行评价。对于