Web文档分类方法的比较与分析.pdfVIP

维普资讯 第 9卷 第 6期 滁 州 学 院 学 报 Vo1．9 No．6 2007年 11月 J0URNALOFCHUZHOUUNIVERsrrY NOV．2007 Web文档分类方法的比较与分析 汪志圣幢 李龙澍 (1安徽大学 计算机学院，安徽 舍肥 230039；2滁州学院 数学系，安徽 滁州 239012) 摘 要：对Web文档进行分类可以较好地解决网上信息杂乱的现象，而且方便用户准确定位所需的信息，有效 地提高了信息服务 的质量。目前对Web文档进行分类的技术包括基于文档 内容的分类方法和基于文档性质 的 分类方法。本文在对Web文档分类技术进行总结的基础上分析和比较了两类方法。 关键词：数据挖掘；web文档分类 中图分类号：TP31 文献标识码：A 文章编号：1673—1794(2007)06—0033—03 作者简介：汪志~(1978一)，男，安徽六安人，讲师，安徽大学计算机学院2004级硕士研究生，滁州学院数学系。 l引言 信息时代的真正来临是计算机、通信技术及因特网飞速发展的结果。从网络上获取数字化信息成为人 们获取信息的重要方式，并逐渐成为主要方式。一些大型的搜索引擎索引的网页已经超过了几十亿，而且仍 然在呈指数增长。面对如此浩瀚的信息海洋，若想找出人们关注的信息，这往往需要投入大量的时间对信息 进行组织和整理。为了帮助人们有效地组织和管理海量的Web信息，Web文档分类技术应运而生，它是Web 数据挖掘的主要内容，是在文本分类的基础上发展起来的。它同时也是数据挖掘、智能信息检索和处理领域 的一个新兴和重要的研究方向，也是一门交叉学科，融合了信息网络、人工智能等多领域学科知识，涉及面 较广。Web文档分类通过利用Web文档的正文文本信息和HTML语言结构信息，针对Web文档的内容进行 相似度的分类。Web文档分类不仅可以在较大程度上解决网上信息杂乱的现象，并方便用户准确地定位所 需的信息和分流信息，而且逐渐与搜索引擎、信息过滤、文本数据库、数字化图书馆等信息处理技术相结合， 有效地提高了信息服务的质量。本文将现有的Web文档分类方法进行归纳分析，将现有的算法分成两类，并 对两类方法进行总结分析和比较，提出各 自的优缺点。 2Web文档基本特点及分类方法概述 Web信息均采用超文本的Web页面形式来表现。在Web出现之前，人们已经对文本 自动分类问题进行 了大量的研究，形成了文档 自动分类技术。随着Web上海量的文本信息的增加，文档 自动分类技术的处理对 象从普通的文档扩展到了Web文本。目前，一些比较成熟的文本分类算法已经被应用到了Web文本分类 中，其中有基于VSM的向量距离法、贝叶斯分类算法、ON分类算法、支持向量机分类算法、决策树分类算法 和神经网络分类算法等等，近些年还出现了基于粗糙集合理论的文本分类算法和一些结合多种方法的混合 分类方法。 由于Web信息 自身的特点，网页中除了包含纯文本内容，还包含标记 flags)和指向其它页面的链接 (Hyperlinks)。近年来出现了一些基于Web文档性质的分类方法。文档的性质就是指网页中所包含的文件的 基金项 日：滁州学院 自然科学基金项 目(KJ20OTB124) 收稿 日期：2007—07—17 — 33— 维普资讯 性质，据此可将网页分为新闻页、广告页、论坛页、影音页等类别。性质分类可以和内容分类有机地结合在一 起，形成更加详细的分类系统，使用户对文档的属性一 目了然。 3基于内容的Web文档分类 3,1基于 内容分类的含义 基于内容分类是指按照预先定义的基于内容的主题类别C(C={C。，C：，……cl})，这里的0可以是并列的， 也可以是分层次组织起来的，为文档集合中的每个文档di(i=l，……，m)确定所属的类别。 3．2基于 内容分类的常见算法 从算法机制上来看，文档分类方法大致可分为基于统计学习和基于知识工程两种类型。基于统计学习 方法由于具有坚