集群Hadoop性能測试.docVIP

测试报告 1，测试方法 测试主要使用shell自动测试，在shell脚本中生成配置文件后，执行拷贝替换原有配置文件，每次执行开始记录开始时间，执行完毕后计算结束时间，手动统计每次执行时间。 时间包括更改配置文件，关闭启动Hadoop，执行测试用例和清除数据程序。 单项侧室以原有默认配置为基准，每次只更改一个配置文件，每次测试完成后自动将配置文件恢复到默认值。 2，Mapred-site.xml 测试结果 以下数据如无说明则使用以下测试用例： Mapred.job.reduce.input.buffer.percent 默认为0.0mapred.inmem.merge.threshold默认为1000 Mapred.job.shuffle.merge.percent 默认是0.66。其默认值是10， 将此默认值增加到100是比较常见的。mapred.child.java.opts 默认-Xmx200m，分配给每个任务200MB内存。 可以将其增大到-Xmx512m，即512MB 。设置JVM堆的最大可用内存，需从应用程序角度进行配置 asktracker.http.threads 该属性设置集群中每个tasktracker用于将map输出传给reducer的工作线程的数量，默认是40。可以将其提高至40-50之间，能够增加并线线程数，提高集群性能io.file.buffer.size 默认是4096字节 Value 4096 65535(64K) 131072(128K) 262144(256K) 304 318 322 324 4,全部优化选项打开后比较测试： Default Opti 21115 5143 5， 总结 从单项考虑，每一单项对性能提高不大，可能的原因是 很多选项需要组合起作用，单项配置基本可以忽略，或者因为别的项目采取默认值导致不起作用 由于机器有其他任务运行，每项任务得到的资源可能会有所差别，导致结果出现偏差 但把所有优化选项打开后，可以看到，整体性能得到了极大提升，运行时间不到采用默认值运行时间的 50%。 考虑到机器性能和网络环境，建议此实验结果只作为参考结果使用，具体实际使用中需要视具体运行软硬件环境决定配置选项的值。