基于LDA特征扩展短文本分类方法研究.docVIP

基于LDA特征扩展短文本分类方法研究 　　摘要： 　　针对短文本信息篇幅短、信息量少、特征稀疏的特?c，提出一种基于LDA（Laten Dirichlet Allocation）主题模型特征扩展的短文本分类方法。该方法利用LDA模型得到文档的主题分布，然后将对应主题下的词扩充到原来短文本的特征中，作为新的部分特征词，最后利用SVM分类方法进行分类。实验结果表明，相比于传统的基于VSM模型的分类方法，基于LDA特征扩展的短文本分类方法克服了特征稀疏的问题，在各个类别上的查准率、查全率和F1值都有所提高，充分验证了该方法对短文本分类的可行性。 　　关键词： 　　短文本分类；隐含狄利克雷分布（LDA）；特征扩展；SVM 　　DOIDOI：10.11907/rjdk.172295 　　中图分类号：TP301 　　文献标识码：A文章编号文章编号2018）003006304 　　英文摘要Abstract：This paper presented a short text classification method based on LDA （Laten Dirichlet Allocation） theme model for short text information， short message， and sparse features. This method used the LDA model to obtain the subject distribution of the document， and then extended the word under the corresponding topic into the characteristics of the original short text as a new part of the feature word. Finally， SVM classification method was used to classify. The experimental results show that the short text classification method based on the LDA feature extension overcomes the problem of sparseness of features， and the precision， recall and F1 values are improved in all categories compared with the traditional classification method based on VSM model. It is proved that the method is feasible for short text classification. 　　英文关键词Key Words：short text classification； Laten Dirichlet Allocation （LDA）； feature expansion； SVM 　　0引言 　　随着互联网的快速发展，手机、平板电脑等移动终端的普及，手机短信息、微博、网络评论、论坛发帖回帖等短文本形式的信息不断涌入人们的生活中。面对大量短文本信息，如何快速而准确地从中获取所需的关键信息，成为众多研究者关注的热点问题。近年来，短文本处理技术也应用于舆情分析[1]和搜索引擎[2]等领域。 　　目前对于文本信息的处理，如文本分类，已经有了可用性比较高的技术，然而对于篇幅较短的文本，还没有比较成熟的方法。当前常用的文本分类方法主要有朴素贝叶斯算法、K近邻算法、支持向量机算法等，这些方法要求足够的词频共现信息，适用于长文本分类。但是短文本具有篇幅短、信息量少、特征稀疏等特点，相关方法直接应用于短文本分类并不能取得良好效果，其主要困难在于短文本的特征稀疏问题[3]。 　　对于短文本分类方法的研究，近年来主要有基于语义和基于规则两种方法。基于语义的方法主要是借助外部知识库获取短文本中的语义信息，该方法可以发现大部分词之间存在的语义关系，但是对库中不存在的词则不起作用；基于规则的方法是利用各类词语之间相关联的规则进行分类，比如基于搜索引擎的方法，利用搜索引擎的查询结果对短文本进行扩展，该方法对搜索质量要求较高，且比较耗时，影响短文本分类的实时性。针对短文本的分类问题，Quan[4]、宋志理[5]、王细薇等[6]都从不同方面对短文本分类方法进行了研究。经过对已有各种方法的研究比较，本文使用LDA模型对短文本特征进行扩展，以克服其特征稀疏的缺点，具有良好的分类效果