基于主题的文本分类模型分析与应用-计算机应用技术专业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 作者签名： 日期： 年 月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 日 I I 摘要 摘 要 文本分类很早就被提出了，早在人们使用互联网来收发邮件的年代，它就被 应用到处理垃圾邮件上。而现今人们已经习惯了利用文本分类技术来帮助区分垃 圾邮件和非垃圾邮件。随着互联网的发展，文字信息经历了从新闻、邮件到博客、 论坛再到微博的形式转变。各种形式的文字信息也带来了不同的应用场景，如文 本内容由书面化到口语化，文本长短由长文本到短文本。对不同的应用场景，文 本分类也都是文本挖掘中常用的首选步骤。然而是否可以方便的对文本数据进行 分类，是否有新的技术可以应用到文本分类中，这些依旧是文本分类中值得被不 断研究的问题。 近年来，在文本挖掘领域提出了主题模型的概念。与以往的文本关于词的空 间表示不同，文本可以被表示成为关于主题的空间。即一篇文本可以被认为是由 固定数目的主题构成。而文本分类一直存在的一个问题就是文本的空间维度过高。 本文的研究内容将主题模型中的潜在狄利克雷分布应用到文本降维上。主要创新 点和成果如下： 提出了一个基于主题模型的文本分类模型。该模型将主题模型应用到文本分 类中去，使用主题模型提取文本数据集的主题，并将文本表示为主题空间上的向 量。然后使用支持向量机建立文本的分类模型，并使用分类模型来预测新文本的 类别。由于主题个数远远比小于词的个数，所以，使用主题空间表示文档时可以 解决文本高维度的问题。并且相比于文本基于词的表示，主题可以更好的在语义 层面概括文本。实验验证使用此种方法，可以降低文本空间维度，提高分类性能， 说明将主题模型应用于文本分类中的可行性和有效性。 对于实际应用中需要解决的文本多分类问题，本文还研究了基于 SVM 的多分 类的实现方法。最后实现了一个可视化中文文本分类系统。该系统还为用户提供 了易于操作的可视化界面，方便用户完成中文文本的数据预处理、二分类和多分 类模型的训练和预测、分类模型的性能评估、分类结果展示以及生成报表等工作。 关键词：主题模型、潜在狄利克雷分布、支持向量机、多分类、特征选择 II II ABSTRACT ABSTRACT Text Classification has been proposed for a very long time. In the era when people use the Internet to send e-mails it had been applied to deal with spam emails. And now people have become accustomed to use text classification techniques to help distinguish spam and non-spam emails. With the develope of the Internet, text messages changes from the news, emails to the blog, forums, and now even to the microblog. Different forms of text messages also bring different application scenarios. For example, the context changes from written language to spoken language, the length of the context changes from long one to short one. For different application scenarios, text classification is also commonly used in the fisrt step of text mining. However, whether peop