Web数据挖掘技术.pdfVIP

Science Techno~gyVision IT论坛 科 技 视 界 2011年8月第23期 Web数据挖掘技术 李培培 曹 芳 (北京吉利大学信息学院 中国 北京 102202) 摘【 要】文章主要描述了Web挖掘的原理、分类、数据挖掘的关键技术和数据挖掘的方法。针对Web数据的复杂性和特 殊性，Web的数据挖掘必须对Web页做必要的数据处理，使之达到结构化数据的挖掘要求，或使用XML技术来构造半结构数 据模式再进行数据挖掘 。 【关键词】Web挖掘；内容挖掘；结构挖掘；使用挖掘 0 引言 容挖掘 (WCM)、Web结构挖掘 (WSM)和Web使用挖掘 (WUM)。 随着lntemet／lntranet技术的发展 ．尤其是Web的全球普 1．3．1Web内容挖掘 及使得Web上信息量无比丰富，Web已经成为人们获取信息 Web内容挖掘实际上是从Web文档及描述中获取知识 ， 的重要途径，但最先进的搜索引擎也只能找到web网页上面 具体来说就是对Web上大量的文档集合的内容进行摘要 、分 很少的网页。而且无论怎么选择关键词都会返回大量并不需 类、聚类 、关联分析、以及利用Web文档进行趋势预测等。 要的结果。如何从非格式化数据信息中有效地挖掘出有用的 Web内容挖掘的对象包括文本、图像、音频、视频、多媒体等 信息是对数据挖掘领域的一个新挑战。 各种类型的数据。其中聚类是事先没有确定类别，但要求把 Web上的数据信息不同于数据库。它主要是些大量的、 相似度高的文档归于相同的类。 异质的Web信息资源，文档结构性差，其数据多为半结构化 1．3．2 Web结构挖掘 或非结构化 ，信息不能清楚地用数据模型来表示。因此在 Web结构挖掘是从wWw 的组织结构和链接关系中推 Web的数据挖掘需要用到很多不同于单个数据仓库挖掘的 导知识的过程。主要是通过对Web站点的结构进行归纳、分 技术。 析和变形，将Web页面进行分类，以利于信息搜索。HTML页 1 Web数据挖掘概述 面所包含的知识不仅存在于各个页面的内容中。也存在于这 些页面之间的相互链接中。利用这方面的知识可以对页面进 1．1Web数据挖掘概念 行排序以发现重要的页面。 Web数据挖掘是一项综合技术，是利用数据挖掘技术从 1．3．3 Web使用挖掘 www数据资源中抽取信息的过程，结合了数据挖掘、信息处 Web使用挖掘就是对用户访问Web时在服务器留下的 理、可视化、数理统计等领域的成熟技术，是对Web数据资源