面向DNS日志MapReduce性能优化技术研究.docVIP

面向DNS日志MapReduce性能优化技术研究 　　摘 要： DNS日志是互联网中重要的访问日志，数量巨大且承载着大量信息，需要借助大数据技术进行处理和分析。现网DNS日志数据量大，且数据倾斜现象严重，对MapReduce的性能有较为严重的影响。基于上述问题，采用小文件合并方法优化分片，缓解Map端的数据倾斜问题，并实现动态设置分片大小，提高MapReduce作业执行效率。该方法有效均衡了Map任务的负载，从而提高了数据倾斜情况下的MapReduce作业的执行效率和资源利用率。实验表明，使用该方法可以有效缩短MapReduce作业的执行时间。 　　关键词： DNS日志；数据倾斜；MapReduce；性能优化 　　Abstract：DNS log is important access log of the Internet which are large in number meanwhile carries a large amount of information. DNS log could be processed and analyzed with big data technologies. In the actual network the amount of DNS log is large and the data is skewed seriously. These characteristics of DNS logs have a serious impact on the performance of MapReduce. Based on the above problems small file merging method is used to optimize slipt process of MapReduce and alleviate the data skew of the Map end. Moreover this method realizes setting split size dynamically and improves the efficiency of MapReduce execution. This method balances the load of Map tasks effectively and improves the execution efficiency of MapReduce job and resource utilization ratio under data skew. Experiments show that this method can effectively decrease the execution time of MapReduce jobs. 　　Key words： DNS log；data skew；MapReduce；performance optimization 　　引言 　　域名系?y（Domain Name System，DNS）是一个分布式数据库，主要实现了域名和IP地址之间的映射[1-2]。DNS解析过程中产生大量日志，在某运营商的网络中，每天可以产生几十TB级的DNS日志，需要使用大数据技术对DNS日志进行处理和分析。在此，研究选择Hadoop平台[3]和MapReduce编程模型[4]对DNS日志展开探讨与研发。其中，Hadoop是一个分布式系统基础架构，核心是分布式文件系统（HDFS）[5]和MapReduce编程模型。 　　现网DNS日志具有数据量大、数据倾斜现象严重的特点。数据倾斜现象会导致MapReduce在进行DNS日志处理的过程中出现相应的数据倾斜问题。MapReduce中的数据倾斜问题分为Map端的数据倾斜和Reduce端的数据倾斜[6-7]。Map端数据倾斜是由输入数据分布不均匀导致的，Reduce端数据倾斜是由键值对分布不均匀导致的。 　　为了解决Map端的数据倾斜问题，本文针对DNS日志处理过程中输入数据分布不均匀的情况提出了MapReduce作业优化，实现了小文件合并方法，还能够动态设计确定分片大小。通过实验对比发现优化的小文件合并方法比MapReduce默认的方法效果更好，并且能够将DNS日志业务处理时间缩短30%以上。 　　1 MapReduce背景 　　MapReduce是一个可用于并行运算的编程模型，分为Map和Reduce两个阶段。在执行过程中，MapReduce首先对输入数据进行分片（split），每个分片由一个Map任务来加工操作。经过Map任务处理的结果会通过分区函数的分区（Partition）运算后，并将不同分区交给相应Reduc