基于KNN算法的文本分类系统的设计与实现-软件工程专业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工 作 及 取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含 任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献 的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律 结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□， 在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 摘 要 自 1995 年以来，Web 技术进入了快速发展的阶段，表现为 Internet 上的 Web 页 面数量与服务站点数量呈指数级增长。2004 年后，Internet 上的 PIW（pubulic indexable 1010 Web）页面数目达到了 数量级，而且已每天新增 800 万新页面的速度。同时， Web 服务器的数量 23 周即可增长一倍。Web 已成为一个开放性、动态的、全球性信 息服务中心，以及当前人们获取信息的重要手段。如何从大量的 Web 信息中提取出 人们感兴趣的信息和有价值的信息是现代信息研究的重要课题。 针对 Web 文本挖掘的特殊性，设计并实现了一个文本分类系统。使用该系统的 主要目的是实验和发现 Web 文本分类相关算法的性能和准确率。系统主要包括训练 和分类两大模块。训练模块有：（1）中文文本预处理，系统采用中科院计算所汉语 词法分析工具包 ICTCLAS，实现了对文本的分词和预处理功能；（2）特征选择，实 现了文档频度 DF、卡方特征词选择、信息增益（IG）、互信息法等四种特征选择算 法；（3）权重计算，实现了 TF、TF*特征评估函数值等权重算法，建立 VSM 模型； （4）分类器构造，实现了 K 近邻基于统计方法的文本分类算法，分类模块还包括对 分类结果进行评价，并将评价结果反馈给训练模块，从而不断改进训练过程。 为了评测已实现的 KNN 分类系统的分类精度，采用了因特网上由搜狐新闻内容 组成的小型语料库进行训练和分类测试。该语料库包括教育，体育，环境，娱乐， 科技，经济 6 个类别，共 780 个文本。同时对改进后的算法进行实验并比较分析。 实验数据可用于信息检索、信息过滤、数字图书馆和网页分类等做参考。 关键词：数据挖掘 文本分类 KNN 文本挖掘 Abstract Since 1995, Web technology has entered a stage of rapid development. The Internet Web page number and service site number increase exponentially. In 2004, Internet PIW （publicly indexable Web） page number by an order of 1010 magnitude, but also has daily added 8million new page speed. At the same time, the number of Web server can be doubled in 23 weeks. Web has become an open, dynamic, global information service center, and an important means of obtaining information. How to extract information from a large number of Web information that people interested in is an important subject in the study of modern information. Aiming at the particularity of Web text mining, a text categorization system is designed and implemented. The use of the system’s main purpose is to test and find out the Web text categorizati