Ihadoop与hbase参数调优.docxVIP

第一章Hadoop参数调优Hadoop参数调优主要是core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml四个文件：core-site.xml为Hadoop的核心属性文件，参数为Hadoop的核心功能，独立于HDFS与MapReduce，其他三个文件皆为hadoop参数文件，hadoop-env.sh主要是完成各进程的内存划分以及部分环境设置，hdfs-site.xml主要是对HDFS的端口、目录、以及HDFS跟namenode的通信设置（小的集群一般不用考虑）等的设置，mapred-site.xml主要对map与red和JobTracker的设置。Hadoop有190多个参数但一般用到的不足一半，这里常用的一些参数设置作出调整:一、hadoop-env.sh修改TaskTracker与+DataNode的内存分配根据官方建议设置TaskTracker与+DataNode的内存大小由原来的1G设置为2G [hadoop@MASmaster01 hadoop-config]$ vi hadoop-env.sh# The maximum amount of heap to use, in MB. Default is 1000.export HADOOP_HEAPSIZE=2048二、core-site.xml1、放大hadoop读写hdfs的缓存大小hadoop读hdfs的文件和写hdfs的文件，还有map的输出都用到了这个缓冲区容量，对于现在的硬件很保守，可以设置为128k(131072)也不是越大越好设置过大会造成map跟red的溢出[hadoop@MASmaster01 hadoop-config]$ vi core-site.xmlpropertynameio.file.buffer.size/namevalue131027/value/property2、开启hadoop的垃圾回收功能默认情况下垃圾回收是关闭的，为了避免误删数据丢失，开启垃圾回收机制这里保留一天propertynamefs.trash.interval/namevalue1440/value/property三、mapred-site.xml1、map和red的进程数设置对hadoop的参数修改主要是对map和red的进程数由原来默认的2分别设置为6 增加了运算速度property namemapred.tasktracker.map.tasks.maximum/namevalue6/value/propertypropertynamemapred.tasktracker.reduce.tasks.maximum/namevalue6/value/property内存使用（map+reduce）Xmapred.child.java.opts+TaskTracker.mapred.child.java.opts2、Tasks进程内存分配mapred.child.java.opts默认值200m启动task管理的子进程时的内存设置(默认为-Xmx200m偏小)这跟4中的map与red的个数这是也有关系这里设置为512mproperty namemapred.child.java.opts/namevalue-Xmx512m/value/property3、MapTask当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示，每一个map都会对应存在一个内存 buffer（MapOutputBuffer，即上图的buffer in memory），map会将已经产生的部分结果先写入到该buffer中，这个buffer默认是100MB大小，但是这个大小是可以根据job提交时的参数设定来调整的，该参数即为：io.sort.mb。当map的产生数据非常大时，并且把io.sort.mb调大，那么map在整个计算过程中spill的次数就势必会降低，map task对磁盘的操作就会变少，如果map tasks的瓶颈在磁盘上，这样调整就会大大提高map的计算性能propertynameio.sort.mb/name value300/value/property io.sort.factor。该参数默认为10。它表示当merge spill文件时，最多能有多少并行的stream向merge文件中写入。比如如果map产生的数据非常的大，产生的spill文件大于10，而 io.sort.factor使用的是默认的10，那么当map计算