Web数据挖掘的研究初探.docVIP

Web数据挖掘的研究初探 　　摘要：随着大型数据库的不断涌现，不缺数据缺知识的矛盾日益突出。大量web信息中获取有用的信息是web数据挖掘的关键问题。该文重点探讨了Web挖掘的基本原理和关键技术，针对Web挖掘的分类进行了描述，论述了Web挖掘的挖掘流程、应用领域及研究发展方向。 　　关键词：数据挖掘；Web数据挖掘；Web内容挖掘；Web使用挖掘；Web结构挖掘 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2012）32-7636-03 　　基于Internet的服务也飞速产生并发展起来，企业急需从Internet这个巨大的信息源中分析客户行为，寻找商机。就是从这样的商业角度考虑，在20世纪80年代末的时候数据挖掘（Data　Mining）技术被开发出来。Web数据挖掘就是在Web网络基础上引入数据挖掘的思想和方法。通过这一方法解决在Web网络中遇到的一些问题，从而形成了Web数据挖掘。基于Web网络的数据挖掘是数据挖掘领域的一个新的重要研究方向，它可以满足电子商务未来发展趋势的需要。 　　1　Web数据挖掘的研究背景和国内外现状 　　有统计指出，我国境内的Web站点已将近有200万个，全国现有网民3亿7千万人。网上的信息量已经远远超过人们的处理能力。Web站点每天都在发生着不断的变化，网上的内容在不断的扩大和更新。庞大的快速增长的数据中一定有许多有价值的信息，如何发现并利用这些信息变成了摆在我们面前的一道难题。现在利用数据挖掘技术与Web技术相结合形成Web挖掘，就是用来解决这个难题的有效方法。 　　2　Web数据挖掘概述 　　数据挖掘是指从大型数据库或数据仓库中提取隐含的、未知的、非平凡的及有潜在应用价值的信息或模式。数据挖掘是一种综合了数据库、人工智能以及统计学等多个学科技术的信息处理方法。通过对历史积累的大量数据的有效挖掘，试图从这些数据中提取出先前未知但有效和有用的知识[1-2]。 　　web挖掘是Web数据挖掘（Web　Data　Mining）的简称，也可以被称为Web知识发现（WebKnowledge　Discovery），他是在数据挖掘的基础上研究发展而来的，是数据挖掘技术在Web技术中应用的体现。Web挖掘技术涉及众多学科的知识，如数据库技术、网络技术、统计数学、人工智能等，是一个交叉性的研究领域。[7] 　　数据挖掘所需要的丰富的信息资源其实就蕴藏在Web中。Web中蕴藏了许多丰富和动态的超链接信息以及Web　页面的访问和使用信息。而Web挖掘的主要工作就是从Web　文档和Web　活动中发现并取得感兴趣的潜在的有用模式和隐藏信息。 　　3　Web　数据挖掘的分类 　　Web数据挖掘可以被分为Web内容挖掘（Web　Content　Mining）、Web结构挖掘（Web　Structure　Mining）、Web使用记录挖掘（Web　Usage　Mining），这三大类。这三大类在实际使用过程中并不是独立使用的，而是相互联系、相互交叉和相互渗透的。关系如图1所示。 　　（1）　Web内容挖掘 　　从Web页面文档内容及后台交易数据库中发现有价值信息的过程称为Web内容挖掘。其实Web内容挖掘我们可以理解为是从浩瀚无际的Web资源中发现信息、取得信息或资源的过程。Web内容挖掘发现Web资源中的有效数据的方法是先对Web网页上的内容做资料挖掘，然后对Web的资源实行自动检索。Web资源的形式是丰富多样的，Web上的资源内容主要包括网络页面上的内容信息和页面后台在数据库中发生的交易记录等。页面上的信息是非常丰富的，它包括文本、动画、超链接、图片、音频／视频之类的多媒体数据。Web内容挖掘主要使用两种方法：Web页面内容信息挖掘和搜索结果再次挖掘（即对初步搜索或挖掘的结果作进一步的改进挖掘处理）。 　　（2）　Web结构挖掘 　　WSM（Web　Structure　Mining）是Web挖掘中的一个重要分类方向，它的主要工作方法是通过研究和分析各个网络页面之间的结构信息，从而找到隐藏在页面内容之外有价值的信息的过程。 　　网页正文，网页所含的超文本标记以及网页间的超链接，这三个部分组成了Web页面中的有效信息。其实实际上，仅仅网页之间的超链接，并不能代表Web的结构： 　　从广义上讲，Web的结构包含有： 　　①　URL字符串中的目录路径结构信息； 　　②　网页内部内容的可以用HTML、XML表示成的树形结构； 　　③　网页之间的超链接结构。 　　Web结构挖掘涉及到海量的计算信息数据，怎样解决大量信息数据和有限的计算存储空间之间的矛盾，怎样提升数据挖掘算法的效率和实时性将是一个有待大家继续深入探讨研究的问题。 　　（3）　Web使用记