Web 文本分类关键技术的研究与实现-计算机应用技术专业论文.docxVIP

创新性声明 本人声明所呈交的论文是我个人在导师的指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得西安电子科技大学 或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究工 作所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文若有不实之处，本人承担一切相关责任。 本人签名： 日期： 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其他复制手段保存论文。 （保密的论文在解密后遵守此规定） 本学位论文属于保密在 年解密后适用本授权书。 本人签名： 日期： 摘 摘 要 W Web 文本分类关键技术的研究与实现 摘 要 当今的世界，信息充斥着各个角落，以电子形式存在的 Web 文本已逐渐成为人们 最重要的信息来源。然而，Web 文本是无结构的、动态的，并且 Web 页面的复杂程度 远远超过了文本文档。因此，如何有效的、快速的从浩瀚的网络信息中获取到所需要的、 可以利用的知识，已成为近年来人们研究的主要课题，并形成了一门新的技术：Web 文 本挖掘。它主要包括四个方面的内容：Web 文本分类、Web 文本聚类、信息抽取和信息 检索。本文主要是对 Web 文本分类进行研究。 在 Web 文本分类中，支持向量机得到了广泛的应用。它是建立在统计学习理论和 结构风险最小化原则基础上的一种机器学习方法，能够很好的解决小样本下的学习问 题。与传统的机器学习方法相比，支持向量机具有很强的泛化能力，而且能够得到全局 最优解，很好地解决了过学习、维数灾难、局部极值等问题，成为现在科学领域的一个 研究热点。然而作为一个相对较新的理论，支持向量机还有待进一步的研究、改进。其 中，对大规模数据集的分类问题及数据集更新后如何重新分类是研究的重点和难点之 一。 本文首先对 Web 文本挖掘分类进行了研究，分析了其关键技术。然后研究了统计 学习和支持向量机的基本概念及相关理论，并针对支持向量机在求解大规模数据集时存 在的缺陷，如占用较高内存、收敛速度很慢、在数据集更新后又重新对所有样本进行分 类等，提出了一种改进的基于相对分离度的算法，用来解决多分类问题。继而，在该算 法的基础之上，提出了基于相对分类度的多分类增量学习算法。该算法将支持向量机和 增量学习结合起来，当数据集更新后，该算法保留了以前学习的结果，仅对新增加的数 据进行再学习，从而形成一个连续的学习过程。 最后，将改进的算法应用于 Web 文本挖掘系统中，并取得了较好的分类效果。 关键词：Web 文本分类 支持向量机 多分类问题 增量学习 Abs Abstract W Web 文本分类关键技术的研究与实现 Abstract Nowadays, the world is filled with all kinds of information; the Web Text which exists in the electronic form has gradually become the most important source of people’s information. However, the Web Text is unorganized and dramatic, and the web page is far more complex than the text documents. So, recently, the problem how to obtain the information which is required and useful from the Internet with an efficient and rapid method has become a main topic of the scientific field. And based on the requirement, a new technique which is called Web Text Mining has formed. This technique contains four aspects: web text classification, web text clustering, information extraction, in