一种基于聚类的主题模型短文本分类方法.pdfVIP

第37卷第10A期 计算机科学 V01．37No．10A Science 2010 2010年10月 Computer Oct 一种基于聚类的主题模型短文本分类方法 黄鑫樊兴华 (重庆邮电大学计算机科学与技术研究所 重庆400065) 摘要针对单个短文本的信息描述能力差的问题，提出了一种基于聚类的主题模型短文本分类方法。首先对短 文本训练集的每一个类别进行聚类，把聚类得到的一簇类中的文本看成是讨论的同一个主题，再根据主题在类别中 的概率分布以及词语在主题中的概率分布，随机生成新的具有较强描述能力的长文本，最后进行分类。实验表明， 该方法在一定程度上弥补了短丈本信息描述能力差的缺点，提高了分类性能。 关键词短文本分类，聚类。主题模型，朴素贝叶斯 中图法分类号TPl8 文献标识码A ModelMethodforShortTextClassificationBasedon Topic Clustering HUANGXinFAN Xing-hua of Scienceand ofPostsand (Institute University Computer Technology，Chongqing 400065，China) Telecommunications，Chongqing Abst耐Inthis tothe thata shorttextdescribesinformation model paper，accordingproblemsingle weakly，atopic methodisintroducedforshorttextclassificationbasedon shorttextsofthe setreelus— clustering．First，the training each in teredin wecan thetextsoneclustertodiscussthesame thenwe the category，soput subject，andgenerate new textswith tOthe distributionon andthe long strongerdescribingcapabilityaccordingtopic categories probability word distributionon final showthatthemethodcanmakeforthe probability topics，theclassification．Experiments up ofshorttext informationtosomeextentand theclassificatio