基于Hadoop的Web日志预处理的设计和实现.pdfVIP

东信北邮信息技术有限公司专栏 E A S T C O M - B U P T I N F O R M AT I O N T E C H N O L O G Y C O . , LT D . C O L U M N T E L E C O M E N G I N E E R I N G T E C H N I C S A N D S TA N D A R D I Z AT I O N 基于Hadoop的Web 日志预处理的设计与实现*
1,2 1,2 1,2 宋莹 ，沈奇威 ，王晶 （1 北京邮电大学网络与交换技术国家重点实验室，北京 100876；2 东信北邮信息技术有限 公司，北京 100191） 摘　要　 Web日志预处理是Web日志挖掘的重要步骤，是通过Web日志获得准确信息的前提，直接影响后续的挖掘 算法精确性。本文针对海量Web日志，提出并基于分布式计算平台Hadoop实现了一种改进的Web日志预处 理方法。通过Hadoop平台与单机的性能对比，证明了Hadoop进行Web日志预处理的高效性。 关键词　Web日志预处理；Web结构；map/reduce 中图分类号 TN915 文献标识码 A 文章编号 1008-5599（2011）11-0084-06 1 引言 施有效挖掘算法的前提，数据预处理环节非常关键。 Web 日志包含了丰富和动态 Web 页面的访问和使 随着Internet的迅猛发展，Web上的信息急剧膨胀， 用信息，这为 Web 日志挖掘提供了丰富的资源。但是 而其中蕴含的信息未能得到充分的挖掘和利用。因此， 如何对 Web 日志进行高效可靠的数据预处理具有极大 [4] Web 数据挖掘成为数据挖掘技术研究的热点。Web 数 的挑战性 。 据挖掘主要分为 3 类 ：Web 内容挖掘（Web Content Hadoop 是 Apache 下的一个开源分布式计算平台， Mining），Web 结 构 挖 掘（Web Structure Mining） 它提供简单的编程模型，对大量数据进行分布式处理。 和 Web 日志挖掘（Web Usage Mining）[1] 。 Hadoop 一般运行在由大量普通计算机组成的集群上。 Web 日志挖掘就是对用户访问 Web 时的访问记录 Hadoop 框架的核心是分布式文件系统 HDFS 和 Map/ 进行数据挖掘。通过分析和研究日志的规律, 实现聚类、 Reduce。HDFS 创建数据块的多个副本，并将其分布存 分类、关联规则、序列分析等 Web 日志挖掘算法 [2] 。 储在集群的数据节点（Data Node）上，实现可靠而快 Web日志挖掘过程一般分为3个阶段[3] ：预处理阶段、 速的计算。Map/Reduce 是一个用于大数据量并行计算 挖掘算法实施阶段、分析阶段。数据预处理的目的就是 的编程模型，同时也是一种高效的任务调度模型，它将 将原始日志经过处理形成用户的会话文