基于mapreduce的web日志挖掘-中国云计算.pdfVIP

Computer Engineering and Applications 计算机工程与应用 2012 ，48 （22 ） 95 基于MapReduce 的Web 日志挖掘 李 彬，刘莉莉 LI Bin, LIU Lili 中国矿业大学 计算机科学与技术学院，江苏 徐州 221116 School of Computer Science and Technology, China University of Mining and Technology, Xuzhou, Jiangsu 221116, China LI Bin, LIU Lili. Weblog mining based on MapReduce. Computer Engineering and Applications, 2012, 48 （22 ）：95-98. Abstract ：The current data mining system based on single CPU has developed to a bottleneck to deal with mass data from Web. Using the advantage of cloud computing distributed processing, virtualization and parallelism of ant colo- ny algorithm, this paper presents a weblog mining algorithm based on Map/Reduce ’s framework. To further verify the high efficiency of the algorithm, it uses the algorithm to mine users ’preferred access path based on Hadoop plat- form. Experimental results show that, using distributed algorithm to process large number of Weblog files in the cluster, can significantly improve the efficiency of Web data mining. Key words ：cloud computing; Map/Reduce; Hadoop platform; Web log mining; ant colony algorithm 摘 要：针对单一CPU 节点的Web 数据挖掘系统在挖掘Web 海量数据源时存在的计算瓶颈问题，利用云计算 的分布式处理和虚拟化技术优势以及蚁群算法并行性的优点，设计一种基于Map/Reduce 架构的Web 日志挖掘 算法。为进一步验证该算法的高效性，通过搭建Hadoop 平台，利用该算法挖掘Web 日志中用户的偏爱访问路 径。实验结果表明，充分利用了集群系统的分布式计算能力处理大量的Web 日志文件，可以大大地提高Web 数据挖掘的效率。 关键词：云计算；Map/Reduce；Hadoop 平台；Web 日志挖掘；蚁群算法 文章编号：1002-8331（2012 ）22-0095-04 文献标识码：A 中图分类号：TP311 1 引言 方面。从近几年Web 日志挖掘的研究来看，主要集 基于Web 的数据挖掘是近几年来国内外学者研 中在改进挖掘算法，旨在提高挖掘系统的挖掘效率， 究的热点，从海量的Web 数据中进行大规模的挖掘， 而挖掘系统对海量数据的处理能力并没有提高。随 从而获得有价值的、可理解的知识是我们追求的目 着现代网络技术的迅猛发展，Web 上的数据正以指数 标。事实上，随着计算机技术和互联网的高速发展， 级形式飞速增长，使基于单一CPU 节点的挖掘平台 Web 数据量正以指数级形式飞速增长，一些大型企业 不能完成目前海量数据的网络分析任务。针对单一 的日扫描数据已达近TB 级。这些海量的数据蕴含 CPU 节点的计算能力已经遇到的瓶颈问题，因此，利 了丰富的信息，对于企业来说是一笔巨额的财富。