基于概率主题模型的文档自动分类-计算机技术专业论文.docxVIP

万方数据 万方数据 独 创 性 声 明 本人郑重声明：所呈交的论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得 宁波大学或其他教育机构的学位或证书所使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了 谢意。 若有不实之处，本人愿意承担相关法律责任。 签名： 日期： 关于论文使用授权的声明 本人完全了解宁波大学有关保留、使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论 文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 （保密的论文在解密后应遵循此规定） 签名： 导师签名： 日期： 基于概率主题模型的文档自动分类 摘 要 近年来，随着因特网的高速发展，各种原始信息和数据如雨后春笋般的出现并大量 充斥着网络，这种海量的原始数据和信息包括图片信息和数据，文本信息和数据、声音 信息和数据、视频信息和数据等等。如何在难以估量的文档中获得和掌握最有效的、最 关键的、最有用的信息和数据始终是信息处理的一大目标[1][2][3][4][5]。其中对文档进行准 确、高效的分类是解决这个问题非常重要的部分。 本人通过研究目前文档分类的现状以及中文分词的方法，设计出两种基于概率主题 模型实现文档分类的方法，并将开发成软件。可以分别针对有监督的和没有监督的情 况，实现了中文文档分类。 对于监督的文档时，设计实现了基于概率主题模型的文档分类方法。根据一定量已 经区分好的训练文档，计算每类文档的主题分布概率分布。通过比较新文档和训练文档 集概率主题分布的接近程度，从而确定新文档所属分类。 对于无监督无监督的文档不包含已分类文档库的情况。设计实现了基于模糊K- Means的概率主题的文档分类方法。首先在文档库中提取关键词，并抽取一定数量的文 档，利用这些关键词和文档抽取出主题，计算被抽取出的文档的主题分布，然后将剩余 文档根据主题分布的接近程度与这些文档进行聚类。完成第一次聚类后，将重新确定主 题和主题分布，并再次根据主题分布对文档来进行第二次、第三次聚类，直到不再发生 变化，分类完成。 此外，中文分词是处理中文文档的基础，我们也将实现通过一些共享的词库，完成 文档的中文分词。软件采用C#语言制作开发，界面良好，运行速度较快，可以兼顾中文 分词，分词排序，两种文档分类，批量处理以及导入导出等功能。 关键字：概率主题,文本分类,K-Means,中文分词 - I - Automatic Document Classification Based on Probabilistic Topic Models Abstract In recent years, Internet develops at an amazing speeding , it contains various kinds of original rough information, including text information, voice information, image information and so on. How to master the most effective information is always a big target in information processing. To classify the document accurately and efficiently becomes a very important part to solve the problem. I by studying the present situation of document classification and method of Chinese word segmentation, designed two kinds of model implementation document classification method based on probability subject, and will develop into software. Can respectively in the presence of supervised and unsupervised, realize the Chinese document classification. Documents for supervision, design realizes the document classification