Ｗｅｂ数据挖掘技术综述.docVIP

Ｗｅｂ数据挖掘技术综述 　　摘要:万维网是一个巨大的、分布广泛的、全球性的信息服务中心,它包含了丰富的信息资源。Web挖掘可以快速有效地从互联网上获取所需要的信息。该文从Web数据挖掘的基本概念出发,结合Web数据的特点介绍了Web数据挖掘的类型、过程和技术,并对Web挖掘的应用前景进行了展望。 　　关键词:Web数据挖掘;挖掘过程;挖掘技术 　　中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2009)15-3852-02 　　 　　The Summary of Web Mining Technology 　　PAN Zheng-gao1,2 　　(1.School of Information and Computer,Hefei University of Technology,Hefei 230009,China;2.the Lab of Artificial Intelligence and Data Mining,Suzhou University,Suzhou 234000,China) 　　Abstract:WWW contains abundant information,as a enormous,extensive and global service center of information.Web Mining can be assumed speedinessly and effectively the information what we needed.This text introduce the types,procession and technologys of Web Mining,except the foreground of its application.Those work based on the basic concept and characteristic of Web Mining. 　　Key words:Web Mining; Mining Course; Mining Technology 　　 　　1 引言 　　 　　随着Internet的发展,Web信息迅速膨胀,如何从海量的Web信息中快速和准确地获取有用信息已经成为近几年数据挖掘领域研究的热点。Web上的数据与其他的数据相比较存在着明显的特点,这些特点使得Web挖掘在方法和技术方面与传统的数据挖掘有着显著的不同。 　　 　　2 Web数据挖掘的概念 　　 　　Web数据挖掘(Web Mining),简称Web挖掘,是由Oren Etzioni在1996年首先提出的[1]。它是数据挖掘技术和Internet应用研究相结合的研究领域。一般,对Web数据挖掘定义如下:Web数据挖掘是指Web从文档结构和使用的集合C中发现隐含的模式P。如果将C看作输入,P看作输出,则Web挖掘的过程就是从输入到输出的一个映射[2]。 　　Web挖掘是指从大量的Web数据中发现新颖的、潜在可用的及最终可以理解的知识(包括概念、模式、规则、规律、约束及可视化等形式)的非平凡过程。Web挖掘是数据挖掘技术和Internet应用研究相结合的产物,其涉及的技术覆盖了多个研究领域,包括数据库技术、信息获取技术、统计学、机器学习、神经网络等。 　　 　　3 Web数据的特点[3] 　　 　　1) 异构数据库环境。Web上的每一个站点就是一个数据源,每个数据源都是异构的,因而每一站点的信息和组织都不一样,这就构成了一个巨大的异构数据库。 　　2) 分布式数据源。Web页面散布在世界各地的Web服务器上,形成了分布式数据源。 　　3) 半结构化。半结构化是Web上数据的最大特点。Web上的数据非常复杂,没有特定的模型描述,是一种非完全结构化的数据,称之为半结构化数据。 　　4) 动态性强。Web是一个动态性极强的信息源,信息不断地快速更新,各站点的链接信息和访问记录的更新非常频繁。 　　5) 多样复杂性。Web包含了各种信息和资源,有文本数据、超文本数据、图表、图像、音频数据和视频数据等多种多媒体数据。 　　 　　4 Web数据挖掘的分类 　　 　　Web挖掘技术根据挖掘的方向一般分为三类:Web内容挖掘,Web结构挖掘和Web使用记录的挖掘。 　　4.1 Web内容挖掘(WCM,Web Content Mining) 　　Web内容挖掘是指从大量的Web数据中发现信息、抽取知识的过程。这些Web数据的形式有Web页面、Web页面上各种链接所指向的内容以及网络数据库里的数据等。从内容方面,Web内容挖掘可分为Web文本挖掘和Web多媒体挖掘,它们的不同在于提