MapReduce技术在日志分析中的研究应用.pdfVIP

·26 · Computer Era No. 6 2017 DOI: 10.16644/33-1094/tp.2017.06.008 MapReduce技术在日志分析中的研究应用* 林 勇，吴 翀，严 盟，彭敏佳 (浙江天正信息科技有限公司，浙江 杭州 310006) 摘 要：Hadoop 技术的核心框架MapReduce 非常适用于日志分析系统，并具有良好的易用性和可扩展性。文章将 MapReduce 的日志处理技术应用于某项目平台的日志数据分析中，以实验结果证明了MapReduce 能较好地解决Web 日 志处理单机所面临的效率低下问题，能更好地整合计算机资源。 关键词：Hadoop ；MapReduce ；Web 日志；日志分析 中图分类号：TP391.9 文献标志码：A 文章编号：1006-8228(2017)06-26-03 Research and application of MapReduce in log analysis Lin Yong, Wu Chong, Yan Meng, Peng Minjia （ZhejiangTopcheerInformationTechnologyCo.,Ltd., Hangzhou, Zhejiang 310006, China） Abstract ：Hadoop MapReduce is very applicable to log analysis system, and has good usability and scalability. In this paper, the MapReduce log processing technology is applied to the log data analysis of a project platform, and the experimental results show that MapReduce can solve the low efficiency problem of processing Web log with single machine, better integrate computer resources. Key words ：Hadoop ；MapReduce ；Web log ；log analysis 0 引言 1 Hadoop Web 日志包含着网站最重要的信息，通过日志分 Hadoop是一个由Apache基金会所开发的分布式 析，我们可以知道网站的访问量，哪个网页访问人数 系统基础架构。用户可以在不了解分布式底层细节 最多，哪个网页最有价值，哪些网页需要优化等相关 的情况下，开发分布式程序。充分利用集群的威力进 信息。一般中型的网站(10W的PV以上)，每天会产生 行高速运算和存储。 1G以上Web 日志文件。大型或超大型的网站，可能 Hadoop实现了一个分布式文件系统（Hadoop 每小时就会产生10G的数据量。当数据量每天以 Distributed File System），简称HDFS。HDFS有高容 10G、100G增长的时候，单机处理能力已经不能满足 错性的特点，并且设计用来部署在低廉的（low-cost） 需求。我们就需要增加系统的复杂性，用计算机集 硬件上；而且它提供高吞吐量（high throughput）来访 群，存储阵列来解决。在Hadoop出现之前，海量数据 问应用程序的数据，适合那些有着超大数据集（large 存储，和海量日志分析都是非常困难的。只有少数公 data set）的应用程序。HDFS放宽了（relax）POSIX的 司掌握着高效的并行计算、分步式计算、分步式存储 要求，能