[hadoop优化.docVIP

hadoop参数配置优化 由于最近一直忙于项目的开发，所以很多配置大致进行了一下测试，具体的数据并没有统计，所以以下配置还需要根据自身的项目应用和硬件配置进行修改，事后等空闲了进行一下配置优化测试。先给出配置项。配置版本hadoop 1.0.3，版本不同可能配置项的名称会有差异。主要参照官方给出的配置指南进行的。 hadoop.tmp.dir默认值： /tmp说明： 尽量手动配置这个选项，否则的话都默认存在了里系统的默认临时文件/tmp里。并且手动配置的时候，如果服务器是多磁盘的，每个磁盘都设置一个临时文件目录，这样便于mapreduce或者hdfs等使用的时候提高磁盘IO效率。 erval默认值： 0说明： 这个是开启hdfs文件删除自动转移到垃圾箱的选项，值为垃圾箱文件清除时间。一般开启这个会比较好，以防错误删除重要文件。单位是分钟。 fs.inmemory.size.mb默认值：说明： reduce阶段用户合并map输出的内存限制。这里设置200，可根据自身硬件设备进行更改测试。 io.sort.factor默认值：10说明：排序文件的时候一次同时最多可并流的个数，这里设置100。新版本为mapreduce.task.io.sort.factor。 io.sort.mb默认值：100说明： 排序内存使用限制，这里设置200m。新版本看说明貌似改成了这个mapreduce.task.io.sort.mb。 io.file.buffer.size默认值：4096说明：SequenceFiles在读写中可以使用的缓存大小，这里设置为131072。貌似这个参数在新版本里变为了：file.stream-buffer-size，单位bytes 。 dfs.blocksize默认值说明： 这个就是hdfs里一个文件块的大小了，默认64M，这里设置134217728，即128M，太大的话会有较少map同时计算，太小的话也浪费可用map个数资源，而且文件太小namenode就浪费内存多。根据需要进行设置。 node.handler.count默认值：10说明：hadoop系统里启动的任务线程数，这里改为40，同样可以尝试该值大小对效率的影响变化进行最合适的值的设定。 mapred.child.java.opts默认值：-Xmx200m说明：jvms启动的子线程可以使用的最大内存。改为-Xmx1024m，内存再大也可以继续增加。但是如果一般任务文件小，逻辑不复杂用不了那么多的话太大也浪费。 mapreduce.jobtracker.handler.count默认值：10说明：JobTracker可以启动的线程数，一般为tasktracker节点的4%。 mapreduce.reduce.shuffle.parallelcopies默认值：5说明：reuduce shuffle阶段并行传输数据的数量。这里改为10。集群大可以增大。 mapreduce.tasktracker.http.threads默认值：40说明：map和reduce是通过http进行数据传输的，这个是设置传输的并行线程数。 press默认值：false说明： map输出是否进行压缩，如果压缩就会多耗cpu，但是减少传输时间，如果不压缩，就需要较多的传输带宽。配合press.codec使用，默认是press.DefaultCodec，可以根据需要设定数据压缩方式。 mapreduce.reduce.shuffle.merge.percent默认值： 0.66说明：reduce归并接收map的输出数据可占用的内存配置百分比。类似mapreduce.reduce.shuffle.input.buffer.percen属性。 mapreduce.reduce.shuffle.memory.limit.percent默认值： 0.25说明：一个单一的shuffle的最大内存使用限制。 1. 概述 随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，以下是主要几个： （1） Namenode/jobtracker单点故障。 Hadoop采用的是master/slaves架构，该架构管理起来比较简单，但存在致命的单点故障和空间容量不足等缺点，这已经严重影响了Hadoop的可扩展性。 （2） HDFS小文件问题。在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储