基于聚类分析的网络舆情主题提取.docxVIP

基于聚类分析的网络舆情主题提取 　　摘要：网络舆情具有时效性强、传播迅速、涉及方面杂而广、意见指向性特征明显、泛娱化特征明显等特点。因此，提出对lda输入数据采用tf-idf算法加强特征词筛选的方法。选取“巴黎圣母院大火”事件，采集作为网络舆情重要来源的微博数据，进行lda建模，引入tf-idf算法进行特征词的筛选，能较准确地分析出该事件的主题分布。 　　关键词：网络舆情;主题提取;lda;tf-idf 　　abstract：networkpublicopinionhasthecharacteristicsofstrongtimeliness，rapiddissemination，wideandmiscellaneousinvolvedaspect，obviousdirectionalfeatureofopinion，andobviouscharacteristicsofpan-entertainment.therefore，tf-idfalgorithmisproposedtoenhancethefeaturewordfilteringforldainputdata.selectnotredamefireinparisevent，collectmicro-blogdata，whichisanimportantsourceofpublicopiniononthenetwork，modelitwithlda，andintroducetf-idfalgorithmtoselectthefeaturewords，itisfoundthatthesubjectdistributionoftheeventcanbeanalyzedmoreaccurately. 　　0引言 　　相对传统舆情，网络舆情传播互动更加迅捷，影响扩散更敏感，带有网友的主观性，直接以多种形式发布在互联网上。各类社交平台的出现，缓解了网民在网络信息上作为传播者和受传者角色上的不平等，网民可以发布和传播一手信息，网络信息的真实性失去严格的把控，大量偏差甚至虚假信息横行网络，而网民的情绪又极易被煽动，若无法针对舆论事件及时作出反应，就会出现一些不理智的言论，可能加速事件恶化，让相关单位的公信力受挫。及时、准确地收集舆论信息，提取出舆情事件的主题，并针对主题给出具有针对性、行之有效的解决方案，不仅能够为未来相关主题事件的解决做准备，更提高了解决效率，遏制了事件的恶化。网络舆情的研究主要集中在网络舆情概念理论、传播特征及途径、舆情传播影响因子、舆情引导策略等[1-2]方面，利用云计算、相关算法、聚类技术进行网络舆情的热点发现、情感分析、观点挖掘、监测模式分析、主题演化等[3-4]的研究。网络的开放性让人们越来越容易表达自己，网络舆情的监测控制变得重要。准确发现和提取网络舆情的主题，对舆情的监测和疏导有着积极的意义。 　　1主题提取模型和算法 　　判断两篇文档是否相关，通常不仅仅取决于其在字面上的词语重复程度，还很大程度上取决于文本中所隐含的主题是否类似。在文本创作中，作者通常先确定文章的主旨，再根据要涉及到的每个主题，选取相应词汇，以突出主题、构成文章。在文本挖掘中，可模拟文本创作过程，先从主题集合中选取一些主题，再从每个主题下选取一些词语，这些词语构成了最终的文档。对一篇文档判断其主题分布，便是上述过程的逆过程。而也是由上述过程可知判断一篇文档的主题分布，关键便是得到文档-主题分布、主题-词分布。lda（潜在狄利克雷分配主题）模型针对每篇文档，文档-主题矩阵、主题-词矩阵都是不确定的，通过贝叶斯方法估计词分布和主题分布的两个未知量，提高了文档处理的灵活性。 　　文本经数据预处理之后，成为一系列对文档主题有贡献的词，每个词的对主题的贡献率不同。tf-idf算法便是用来评估词汇在所在文档中的重要程度，算法结果是得出每个词的权重。词权重不仅取决于其在文章中出现的次数多少，还取决于该词常见与否。当某个词较为少见却在一篇文章中出现频繁时，那么该词很可能反映了该篇文章的特点。算法步骤如下。 　　第一步，计算词频。tf=某词在文章中出现的次数/文章的总词数。 　　第二步，计算逆文档频率，用于衡量该词在所分析的语言环境中的常见程度。idf=log（文档集d的文档总数/（包含该词的文档数+1））。一个词在所分析的语言环境中越常见，则idf值越小。 　　第三步，计算tf-idf。tf-idf=词频（tf）×逆文档频率（idf）。 　　2网络舆情主题模型构建 　　网络舆情的时效性较强，对主题提取的及时性有着较高的要求，网络舆情所涉及的民众角度多而杂，口语化表达较多，构建的lda模型时需加强数