基于粗糙集的Web文本分类技术研究-计算机软件与理论专业论文.docxVIP

万方数据 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 万方数据 万方数据 摘要 摘 要 随着互联网产业的飞速发展，网络上聚集了海量的数字信息资源，越来越多 的研究人员把如何有效处理这些海量数据作为自己的研究课题，同时，企业界也 在这一领域做了大量的工作。目前处理 Web 信息的主要手段是使用一些由厂商开 发的互联网搜索引擎，这在一定程度上解决了人们面对海量数据时无可奈何的情 况。从海量数据中检索自己需要的信息只是对 Web 数据进行处理的一个方面，如 果能够只在使用者所需要的类别中进行检索，则可以去除那么明显不必要的信息 从而进一步提高搜索引擎的检索效率和准确度。这就要涉及到 Web 数据资源的分 类技术，在 Web 数据的分类技术当中，使用最普遍的则是 Web 文本的分类。Web 文本分类技术可以根据网页的文本内容自动对网页进行分类，这一技术主要依靠 人工分类所得的训练文本来学习获得分类依据，通过这些训练文本再结合相应算 法就可以构造一个 Web 文本分类系统。当然，对网页分类不同于普通的文本分类， 在对网页进行分类之前还要进行相应的预处理程序。 目前已经有很多方法应用到文本分类当中，其中使用最普遍的主要有 SVM 方 法，K-近邻方法，决策树方法，以及朴素贝叶斯方法等等。粗糙集理论作为处理 不确定性数据的数学工具，在文本分类中也有其独到之处。利用粗糙集进行文本 特征的属性约简可以极大的降低特征向量的维数，从而更有效的进行后期的文本 分类操作。 本文主要研究通过粗糙集对 Web 文本进行分类的理论和方法，首先，我们对 Web 文本进行预处理，包括除噪、分词、词频统计、去停用词等；然后通过特征 提取方法进行特征项的提取，并使用改进的 TF-IDF 函数进行特征项权重计算；之 后将得到的特征词集合作为 Web 文本的属性集，特征词的权值和文本所属的类别 分别作为属性值和决策属性，再通过粗糙集属性约简得到分类规则；最后根据分 类规则对测试文本进行分类，验证分类结果的准确性，并与基于 SVM 的分类方法 进行比较。我们可以发现，通过这样设计的分类器的性能和效率有了较大的提高。 关键字：Web 文本分类，粗糙集，特征提取，属性约简 I ABSTRACT ABSTRACT As the Internet industry develops rapidly in recent years, there are a large amount of information resources available on the Internet. Consequently, more and more researchers take it as their subject about how to effectively deal with these mass data, meanwhile, enterprises also involve in it and do a lot of work. At present, we mainly rely on internet search engine developed by some companies to handle that information, which, to some extent, provide a way to this situation. Retrieving the needed information from mass data is only one aspect of processing Web data. If we find a kind of technique to make sure that we can retrieve the information in the particular category, we can r