基于主题模型的舆情分析子系统研究与设计-计算机应用技术专业论文.docxVIP

万方数据 万方数据 RESEARCH AND DEVELOPMENT OF OPINION MINING SUB-SYSTEM BASED ON TOPIC MODEL A Master Thesis Submitted to University of Electronic Science and Technology of China Major: Computer Applied Technology Author: Gao Yunqi Advisor: Associate Professor Liu Dan School : Research Institute Electronic Science and Technology of UESTC 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 作者签名： 日期： 年 月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 日 摘要 摘 要 随着互联网用户的不断增长，人们开始习惯于在网上对热点事件发表自己的 看法和态度。然而，某些网民对敏感事件发表不实言论，或者借机煽动人们的不 满情绪，这些行为都会对社会的稳定造成威胁。因而，各级政府和有关部门已经 开始使用网络舆情监测系统应对这一问题。 现有的舆情监测系统多采用基于统计和关键词的方法，在词语层面进行分析， 为了保证分析速度，需要进行特征提取以降低文本向量的维度，而这样做会损失 大量的特征和语义信息，导致结果的不准确。本文针对上述问题，尝试将主题模 型引入舆情监测领域，用于代替空间向量模型中的词语特征。相比传统系统，使 用主题模型可以在提升分类、舆情判决等算法的准确度的前提下，进一步减少特 征矩阵的维度，同时可以利用文本的主题表示生成关键词、摘要等辅助信息。本 文主要内容为： 1．研究了常见分类算法在主题模型下的性能，并根据实验结果提出了一种基 于主题特征和 SVM 的细粒度文本分类方法，测试结果表明，在模型参数适当的前 提下，对于长文本，该方法可以在减少 99%特征的情况下保持较好的分类性能， 并能为舆情决策提供重要参考标准。 2．提出了一种针对单页面舆情的判决模型，该模型以主题特征为核心，综合 词语、行文风格、作者等传统特征，能对不同类别的页面进行舆情判决，并通过 决策树实验证明了该模型的有效性。 3．提出了一种基于主题特征的关键字和最短摘要提取算法。该算法使用已训 练模型作为“相关领域信息”，可以提取单个文本的关键词和摘要。 4．详细设计并实现了舆情监测系统中的分析子系统，该子系统提供舆情预警、 舆情搜索、摘要提取、报告生成的功能。最后，本文对其误报率、漏报率、分析 速度等指标进行了测试，证明了系统的实用性和有效性。 测试表明，在舆情系统中使用 LDA 主题模型代替词语特征，并配合本文提出 的细粒度文本分类算法和舆情判决模型，可以在进一步降低特征空间维数的同时， 保持较低的误报率和漏报率。 关键词：舆情监测，主题模型，特征提取，文本处理 I ABSTRACT ABSTRACT With the continuous growth of web users, people began to get used to express their views and attitudes of hot events on the Internet. However, some netizens publish untrue statements on sensitive events, or try to incite people’s discontent, which will pose a threat to social stability. Thus, all levels of government and relevant departments have begun to use network public opinion monitoring system to deal with this