基于Web的数据挖掘研究与探讨研究.pdfVIP

基于Web的数据挖掘研究与探讨 吴恒亮 （山东工商学院， 中国， 264005） [摘 要] 基于Web的数据挖掘是一个结合了数据挖掘和WWW的热门研究主题。 本文从Web数据挖掘的概念入手，介绍了Web数据挖掘的分类以及主要工作流 程，最后从数据源的获取、Web中客户身份的识别、数据的预处理等几个方面讨 论了Web数据挖掘中几个关键问题及对策。 [关键词] 数据挖掘；Web数据挖掘；信息管理 1 引言 在Internet技术迅猛发展的今天，面对Web上浩瀚的数据信息，如何帮助人们有效地收集、 选择和存储所感兴趣的信息，以及在日益增多的信息中发现新的概念和它们之间的关系，使 之能做到信息处理的自动化，已成为现今IT研究的热点问题。由于Web数据自身的特性，使 得Web数据挖掘更加复杂，不同于传统的基于数据库的数据挖掘。为了解决这个问题，把数 据挖掘的理论和技术应用于WWW，出现了一个新的研究领域——Web数据挖掘。 2 Web数据挖掘的含义 Web数据挖掘是一项综合技术，是从WWW资源上抽取信息(或知识)的过程，是对Web资源 中蕴涵的、未知的、有潜在应用价值的模式的提取。它反复使用多种数据挖掘算法，从观测 数据中确定模式或合理模型，也是将数据挖掘技术和理论应用于对WWW资源进行挖掘的一个 新兴的研究领域。 对Web数据挖掘一般做如下的定义： Web数据挖掘是指从Web文档结构和使用的集合C中发现隐含的模式P。如果将C看作输入， P看作输出，那么Web数据挖掘的过程就是从输入到输出的一个映射： ξC → P Web数据挖掘从数据挖掘发展而来，都是在分析大量数据的基础上，做出归纳性的推理， 预测客户的行为，帮助企业的决策者调整市场策略、减少风险并做出正确决策的过程。 3 WEB数据挖掘的分类 目前比较流行的分类就是根据其挖掘对象将其大致分为三类：Web内容挖掘、Web结构挖 掘、Web使用挖掘，如图1所示。 （1）Web内容挖掘 Web内容挖掘是对Web上大量文档的集合进行总结、分类、聚类与关联分析来获取有用信 息。Web页面的内容主要分为三类：无结构的自由文本、半结构的超文本文档和结构化的文档。 Web文本/超文本的内容挖掘是Web内容挖掘的重点，但是作为Web内容挖掘一部分的多媒体数 据挖掘在近几年来受到许多的研究人员的关注。 Web数据挖掘 Web内容挖掘 Web结构挖掘 Web使用挖掘 文本挖掘 多媒体挖掘 文档内结构挖掘 超连接挖掘 URL挖掘 个性化使用分析 访问模式分析 图1 Web数据挖掘分类 （2）Web结构挖掘 Web结构挖掘是指挖掘Web潜在链接结构模式，即通过分析页面链接和被链接数量以及对 象来建立Web自身的链接结构模式。Web数据不同于文本或者数据库，有用的知识不仅在Web 页面的内容中存在，而且也在Web页面间的链接结构和Web页面内部结构中包含。所以，Web 结构挖掘可以分为外部结构挖掘、内部结构挖掘以及URL挖掘。常见的算法有PageRank、 HITS(Hypertext Induced Topic Search)，二次方程推断法（Quadratic Extrapolation）、 分块矩阵排序算法(Block Rank Algorithm)、发现虚拟社区（Cyber-community）的算法， 发现相似页面的算法等。 （3）Web使用挖掘 Web使用挖掘是从用户存取模式中获取有价值的信息，即通过分析Web日志数据及相关数 据，来发现访问者访问Web页面的模式，分析日志记录中的规律，从而识别访问者的兴趣、 频率、满意度，可以发现潜在用户，增强站点的服务竞争力。Web使用挖掘面对的是