Ｗｅｂ挖掘技术研究.docVIP

Ｗｅｂ挖掘技术研究 　　摘要:信息时代的到来,伴随着海量数据的不断出现,web挖掘为当今海量数据处理提供了强有力的技术手段。介绍了Web挖掘的概念,给出了Web挖掘的三种分类,并针对内容挖掘、结构挖掘、使用挖掘论述了Web挖掘在搜索引擎、电子商务、疾病防治等方面的应用。提出了Web挖掘存在的问题,最后展望了Web挖掘的未来努力方向。 　　关键词:Web挖掘;内容挖掘;结构挖掘;使用挖掘;搜索引擎 　　中图分类号:TP311文献标识码:A 文章编号:1009-3044(2009)22-00000-00 　　 　　随着因特网技术的不断发展,尤其是Web的全球普及,Web上存在着海量的数据信息,互联网日益成为人们获取信息的有效途径。由于Web具有无结构、动态变化等特点,给人们在网上搜索资源带来一定的困难。 　　传统的搜索引擎存在许多问题,例如:覆盖面有限、误差率和漏查率高、检索速度不理想等。怎样对网上的数据进行复杂的应用成了当今数据库技术的研究热点。 　　基于Web的数据挖掘(简称Web挖掘)是利用数据挖掘技术从Web文档和Web活动中抽取人们感兴趣的、潜在的有用模式和隐藏的信息,是合理利用网上海量数据的有效技术之一。针对包括Web页面内容、页面之间的结构、用户访问信息、电子商务信息等在内的各种Web数据,应用数据挖掘方法以发现有用的知识来帮助人们从WWW中提取知识,改进站点的设计,更好地开展电子商务。 　　 　　1 Web挖掘的分类 　　 　　具体来说,Web挖掘可以定义为:Web挖掘是指从大量Web文件的集合C中发现隐含的模式p。如果将C看作输入,将p看作输出,那么Web挖掘的过程就是从输入到输出的一个映像:C→p。 　　Web是一个非常成功的基于超文本的分布式信息系统。Web目前涉及新闻、广告、消费信息、教育、政府、电子商务等许多信息服务,Web包含丰富和动态的超链接信息,这些为数据挖掘提供了大量的资源。 　　一般地,Web挖掘可分为三类:Web内容挖掘、Web结构挖掘和Web使用记录的挖掘。图1给出了Web挖掘的分类。 　　1.1 Web内容挖掘(content mining) 　　Web内容挖掘是从文件内容或其描述中筛选知识的过程。Web文件文本内容的挖掘、面向概念索引的资源发现,以及面向代理的技术都属于这一类。Web内容挖掘有两种策略:直接挖掘文件的内容,或在其他工具搜索的基础上进行改进。采用第一种策略的有锁定网络的查询语言Web Log、WebOQL等,利用启发式规则寻找个人首页信息的Ahoy等。采用第二种策略的方法主要是对查找引擎的查询结果作进一步的处理,得到更为精确和有用的信息。属于此类技术的有WebSQL及对查找引擎的返回结果进行群集的技术等。 　　1.2 Web结构挖掘(structure mining) 　　传统的Web搜索引擎大多数是基于关键字匹配的,返回的结果是包含查询项的文档,也有基于目录分类的搜索引擎。这些搜索引擎的结果并不令人满意。有些站点有意提高关键字出现的频率来提高自身在搜索引擎中的重要性,破坏搜索引擎结果的客观性和准确性。另外,有些重要的网页并不包含查询项。搜索引擎的分类目录也不可能把所有的分类考虑全面,并且目录大多靠人工维护,主观性强,费用高,更新速度慢。 　　Web结构挖掘是从WWW的组织结构和链接关系中推导知识。Web结构挖掘的目的是发现页面的结构和Web的结构,在此基础上对页面进行分类和群集从而找到权威页面。怎样才算是一个权威页面呢?指向一个文档的超链接体现了该文档的被引用情况。如果大量的链接都指向了同一个网页,我们就认为它是一个权威页。这就类似于信息检索领域,根据杂志论文的引用情况来评估论文的质量。这种方法的原理是一个作者引用另一篇论文,表示该作者对这篇论文的认可。Web不仅由页面构成,而且还包含从一个页面指向另一个页面的超链接。超链接包含大量潜在的语义,它有助于分析出权威性的语义。 　　1.3 Web使用记录的挖掘(usage mining) 　　Web服务器通常保存了对Web页面的每一次访问的(Web)日志项,或称为Weblog项。它包括了所请求的URL,发出请求的IP地址,和时间戳。对基于Web的电子商务服务器,保存了大量的Web访问日志记录。 　　使用记录实际上也是流水操作记录的一种,它真实地记录着访问者对Web服务器访问的细节情况。因此,对于这些原始数据,可以对其进行一些研究工作,如系统性能分析,通过Web缓存改进系统设计,使得页面缓存机制更加适合实际的需要,并且可以动态适应访问者访问行为模式。这些分析还可以有助于建立针对个体用户的定制Web服务。在这些分析结果的驱动下,可以使得Web具有智能性,能快速、准确地找到用户所需信息;能为