谈Web数据挖掘技术及其应用.pdfVIP

第11卷第1期 闽西职业技术学院学报 VoI．1lNo．1 2009年3月 JournalofMinxiVocationalandTechnicalCollege March 2009 谈 Web数据挖掘技术及其应用 褚 俐 (石家庄职业技术学院 图书馆，石家庄 050081) 摘要：随着www的广泛应用及相应的Web技术的出现，数据挖掘的研究进入了基于Web的新阶段。文章阐述 了web数据挖掘的特点，weh数据挖掘的类型以及Web数据挖掘的技术在搜索引擎、电子商务、网络设计中的应用。 关键词：web挖掘；数据挖掘；Web应用 中图分类号：TP274．2 文献标识码：A 文章编号：1673-4823(2009)01--0103-04 l Web数据挖掘概述 和预处理。即从检索到的网络资源中自动挑选和预 数据挖掘，又称为数据采掘、数据开采，相近的 先处理得到专门的数据；(3)概括化，即从单个的 术语有KDD(KnowledgeDiscoveryinDatabase。数据 Web站点以及多个站点之间发现普遍的模式 ；(4)分 库知识发现)、数据分析、数据融合(DataFusion)等。 析，对挖掘出的模式进行确认或者解释。 数据挖掘可表述为：从大量的、不完全的、有噪声的、 2 Web数据挖掘类型 模糊的、随机的数据中提取出人们事先不知道的但 根据挖掘的对象不同，Web数据挖掘可以分为 又是潜在有用的信息和知识。根据w．J．Frawley和 Web内容挖掘 w(ebcontentmining)、Web结构挖掘 G．P．Shapiro等人的定义，数据挖掘指从大型数据库 (Webstructuremining)以及web用法挖掘(webusage 的数据中提取人们感兴趣的知识，而这些知识是隐 mining)。 含的、事先未知的、潜在的有用信息[1]。 2．1Web内容挖掘 所谓Web数据挖掘技术。国外有人认为，Web Web内容挖掘即从Web的内容／数据／文档中发 数据挖掘就是利用数据挖掘技术，自动地从网络文 现有用信息的过程。Web数据资源类型众多，Inter- 档以及服务中发现和抽取数据的过程2[1。国内则众说 net出现之前的Gopher、FTP、Usenet资源逐渐隐藏 纷纭，有学者将网络环境下的数据挖掘归入Web数 到WWW形式之后，但这些资源仍可以通过Web进 据检索与网络数据 内容的开发嘲：也有从Web服务 行访问。目前WW3~r数据资源已经成为Web数据资 的角度提出 W“eb挖掘”．指出其有别于传统的数据 源的主体。然而除了大量的人们可以直接从网上抓 检索，能够在异构数据组成的数据库中，从概念及相 取、建立索引、实现检索服务的资源之外，一些Web 关因素的延伸比较上找出用户需要的深层次的数 数据是 “隐藏”的数据，如用户的提问动态生成的结 据，并提出Web数据挖掘将改革传统的数据服务方 果，或存在于DBMS(数据库管理系统)中的数据，或 式而形成一个全新的适合网络时代要求的Web数 是那些私人数据，它们无法被索引，从而无法提供对 据服务组合。 它们有效的检索方式。以上是从 Web数据源的角度 Web数据挖掘过程一般由如下四个步骤实现 ： 探讨。若从资源形式看，Web数据内容是由文本、图 (1)资源发现，即检索所需的网络文档；(2)数据选择 像、音频、视频、元数据等形式的数据组成，因而 [收稿 日al2oos一11—06 作【者简介】褚俐 (197