web文本分类方法研究与系统实现软件工程专业论文.docxVIP

㈣幽『J||ffff『I舢fJJJJIffff删Y1 ㈣幽『J||ffff『I舢fJJJJIffff删 Y1 8028坩。 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：丝±望 日期：z。f口年s月方日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 (保密的学位论文在解密后应遵守此规定) 签名：狸蝗 导师签名： 日期：z口I)年譬月2y日 .‘· ，! 飞， 摘要摘 摘要 摘 要 近年来，W曲已经飞速发展成为了世界上数据量最大的公共信息源。如何使 w曲用户能够在浩瀚的信息资源中方便、快捷的定位到所需要的信息，已经成为迫 切需要解决的问题。w曲文本的正确分类正是其中的核心问题。web文本分类源自 于自动分类技术，是W曲文本挖掘的重要组成部分。它不仅可以有效提高用户的搜 索效率，帮助用户快速、准确的定位到目标知识，而且还可以获取到不同用户的 类别兴趣特征，为满足用户的个性化服务要求提供参考。 目前的分类研究多把文档类别看成是平面化的、不相交的，没有考虑到类别 间的层次关系。当类别数目较多时，平面分类学习得到分类器的时间开销大，而 且在对未知文档分类时，需要与全部类模型进行比较，这显然很不恰当。本文在 对web文本挖掘及自动分类技术进行深入研究的基础上，结合类别间的层次关系， 实现了一个多层次的w曲文本分类系统。本文创新点和关键技术如下： 1．建立了层次化的训练和分类模型：本文针对网页内容丰富、涉及多领域的 多个类别的特征，分析了平面分类方法在多类别情况下存在的问题，提出了层次 分类的思想，建立了层次化的训练和分类模型。 2．设计并实现了Web文本的自动抽取器：W曲网页中掺杂的广告、超链接 等噪声给w曲文本分类带来了极大困扰。本文实现了一个Web文本自动抽取器， 使w曲页面经过处理变为较纯净的包含标题和正文内容的纯文本。 3．提出了一种适合于W曲网页的关键词提取方法：网页中不同位置和不同词 性的词语对表达网页内容所起的作用也有所不同，针对这一特点，本文提出了基 于词性、位置和词频信息加权的关键词提取方法来进一步过滤掉网页噪声词，取 得了较好的效果。 4．提出了一种基于z2统计量加权的分类方法：z2统计量能够很好的反映特 征和类别间的相关性。本文创新性的将z2统计量应用于文本分类，不但简化了分 类过程，而且在实际应用中得到了较好的分类速度和准确度。 本论文根据w曲文本的特点提出了一套针对大规模、多类别的w曲文本进行 分类的实施方案，设计了一个w曲文本的多层次分类系统。结果表明，本系统在 实践中的分类性能优于一般的平面分类器。 关键词：层次化，w曲自动抽取，文本分类，特征提取，关键词提取 严 W牛 .1 J ABSTRACTAB ABSTRACT AB STRACT IIl recent years，Web has r印idly become me world’s largest public data source of inf．omlation．It’s an urgent probl锄for Web users to 10cate the desired infIo衄ation easily and fast in Vast infIo锄ation．111e Correctness of Web Text C1assi矗cation is me ．产 key issue of this problem．D耐Ving舶m the automatic classi6cation technology，Web TeXt C1assification is a11 important part of Web TeXt Mining．It can not only effectiVely improve the e瓶ciency of the user’s search by helping users to 10cate me desired knowledge quickly and accurately，but also obtain the interest of difF旨ent叻es of use