面向论坛文本特征提取及分类研究.pdf

摘 要 摘 要 在互联网高速发展的时代，各种网络论坛已经成为人们最常浏览的“报纸”，最活 跃的社区，各种爆料、头条等成为这个时代信息传播蔓延的的种子，加上网络空间的自 由性，对这部分信息进行有效管控是社会舆情监控的重要内容，也是引导社会健康发展 的必要手段。本文以河北舆情监测项目为支撑，针对石家庄人民关注较高的“石话石说” 板块内容进行数据采集、数据处理、特征提取、分类研究，得到人们最关注的话题，采 取的具体步骤如下： 首先，作者针对论坛板块复杂、无序的特性以及网站本身的结构特点，利用网络爬 虫技术设计数据下载器，通过采取中文常见的垃圾去除、分词、去高、低频词等技术得 到原始的数据集。 然后，为了有效的对文本数据集进行表示，本文采取经典 LDA 主题模型。在特征 提取过程中，作者针对在文本特征选择词语维数较高、主题特征词意思重复、以及在分 类应用中准确率随着数据集数量的变化波动较大等问题进行研究，设计了一种基于词义 降维的主题特征选择算法，实验证明该算法运用语言学和统计学知识，将词语的概率相 关性和语义相关性融合到一起，使文档的主题表示更具有代表性。 最后，作者针对所提取文本特征的向量特性，通过设定相似度阈值的方式采用k 近 邻对数据进行分类，并统计出人们关注的热点方向。 关键词 LDA 主题模型 主题特征 K 近邻 I Abstract Abstract With the rapid development of the Internet Era, a variety of online forums have become a style of newspaper among people.The most active community, sorts of rumor, headlines and so on have become the seeds of this era of information dissemination and propagation.With the freedom of cyberspace, this part of the information for effective management is an important aspect of social monitoring feature extraction, classification research, public opinion, but also a necessary means to guide the healthy development of society.In this paper, we supported by Hebei opinion monitoring project Aim at Shijiazhuang high concern, said Shi Shi words section content data, we obtain acquisition, character extraction, classification research, getting the most concerned topic around people. Concrete steps we take as follows: First, the author direct at the characteristics of website (complex and disorder )and structural features of itself, using web crawler technology design data downloader, by common China trash removal, segmentatio