Web数据挖掘技术应用.pdf

引言I n t e r n e t 给人类带来了巨大的变革, 随着I n t e r n e t 的进一步发展和完善, 各种基于I n t e r n e t 的应用业务也如雨后春笋般的发展起来, 例如网上商店、网上银行、远程教育、远程医疗等。毫无疑问未来的商战战场将是I n t e r n e t 。同时, 我们也应该看到I n t e r n e t 在给我们带来机遇的同时也带来了挑战, 它使得WWW 上的一些主要工作, 例如We b站点设计、We b服务、We b服务设计、We b站点的导航设计、电子商务等工作变得更为复杂更为繁重。对于网站经营方来说, 他们需要更好的自动辅助设计工具, 可以根据用户的访问兴趣、访问频度、访问时间动态的调整页面结构, 改进服务, 开展有针对性的电子商务以更好的满足访问者的需求。解决这种需求的一个有利的工具就是We b数据挖掘, 即将数据挖掘的思想和方法应用到We b上, 进行We b挖掘, 挖掘出有用的信息。1 . We b数据挖掘概述We b挖掘是一项综合技术, 涉及We b 、数据挖掘、计算机语言学、信息学等多个领域。We b挖掘就是从We b文档、We b活动中抽取感兴趣的、潜在的有用模式和隐藏信息。我们从更为一般的角度出发, 对We b挖掘作如下定义。定义1 ( We b挖掘)We b挖掘是指从大量We b 文档结构和使用的集合C中发现隐含的模式p。如果将C看作输入, p看作输出, 那么We b 挖掘的过程就是从输入到输出的一个映射ξ: C →p 1 . 1与传统的数据挖掘相比较1 . 1 . 1数据源具有很强的动态性。w e b是一个不断变化的、动态更新的系统，w e b上的数据信息也是不断更新的。因此，其数据源具有很强的动态性。1 . 1 . 2挖掘目的的模糊性。w e b上有成千上万的用户，而每个用户的背景、使用挖掘的目的和兴趣度都不同，大多数用户对自己的挖掘主题和应用只有一个肤浅的认识和了解，并不能提出一个明确的目标。所以挖掘目的是模糊的、不明确的。1 . 1 . 3数据类型的多态性。w e b上的数据既有数值型数据，也有布尔型数据，还有描述性数据以及w e b特有的数据（如I P地址）。新数据类型的出现，必然要对传统的数据挖掘方法进行补充和扩展，才能进行有效的数据挖掘。1 . 1 . 4数据信息的分布性、多维性。1 . 2We b数据的特点We b技术做为I n t e r n e t 飞速发展的产物, 对信息在社会中的传播起到了很重要的作用, 分布于各We b站点上的数据有其自身的特点, 主要的可以归纳为以下几点: 1 . 2 . 1数据量巨大。I n t e r n e t 把分布于世界不同位置的电脑( 服务器)连接了起来, 每个电脑上都存有丰富的数据, 这些数据涉及各种不同的行业和领域, 又由于连接于I n t e r n e t 的电脑数量非常巨大, 所以We b站点中的数据量也非常巨大。1 . 2 . 2异构数据库环境。从数据库研究的角度来看, We b网站上的所有信息也可以看作是一个比普通数据库更大、更复杂的数据库。每一个We b站点都可以看作是一个数据源, 由于各站点是相互独立的, 之间除了可以互相访问之外并没有任何关系, 所以每个站点之间的信息及信息组织方式都是不相同的, 这就构成了一个巨大的异构数据库环境。要对这些数据进行分析, 必须要解决各站点之间异构数据的集成问题, 提供给用户一个统一的视图, 才可能从巨大的数据资源中获取有用的信息。