Hadoop集群测试报告总结计划.docxVIP

Hadoop集群测试报告总结计划 Hadoop集群测试报告总结计划 PAGE PAGE5 Hadoop集群测试报告总结计划 PAGE 测试报告 一、 集群设置 服务器配置 CPU 24 内存 128G 带宽 1024M 磁盘 44T 磁盘吞吐预计 100M/s 2.Hadoop服务部署 HADOOP-12-151 NameNode、Balancer、HiveGateway、SparkGateway、ResourceManager、ZkServer HADOOP-12-152 DataNode、SNN、HFS、HiveGateway、WebHCat、Hue、ImpalaDeamon、CMServer Monitor、CMActivityMonitor 、CMHostMonitor、CMEventServer、CMAlert Publisher、OozieServer、SparkHistory Server、SparkGateway、NodeManager、 JobHistoryServer、ZkServer HADOOP-12-153 DataNode、HiveGateway、HiveMetastore 、HiveServer2、ImpalaCatalog、Impala StateStore、ImpalaDeamon、SparkGateway、NodeManager、ZkServer HADOOP-12-154 DataNode、HiveGateway、ImpalaDeamon、SparkGateway、NodeManager、Sqoop2 HADOOP-12-155 DataNode、Hive Gateway、Impala Deamon、SparkGateway、NodeManager、ZkServer HADOOP-12-156 DataNode、Hive Gateway、Impala Deamon、SparkGateway、NodeManager、ZkServer 3.hadoop参数设置 yarn -mb 108544 -allocation-mb 4096 -allocation-mb 32768 -allocation-mb 4096 -vcores 24 -pmem-ratio mapreduce 4096 8192 3072 6144 1536 100 15 15 5 5 dfs 35 3 4096 二、 基准测试 HDFS读写的吞吐性能 连续10次执行以下写操作，其性能见图示： cd/opt/cloudera hdfsadminhadoopTestDFSIO-write-nrFiles10-fileSize1000-resFile/tmp/ 其详尽数据见表格： 1 2 3 4 5 6 7 8 9 10 均值 HDFS写文件吞吐均值：／ S 平均执行时间： 占用带宽：／S 结论：HDFS写，其磁盘吞吐基本上处于理想状态， 且在此吞吐水平上其网络带宽占用较少， 没有造成明显的带宽负载。 连续10次执行以下读操作，其性能见图示： hdfsadminhadoopTestDFSIO-read-nrFiles10-fileSize1000-resFile/tmp/ MapTask平均吞吐：S。 文件的平均 IO速度：S，基本吻合理想状态。 附：I. 带宽计算过程： 10000/=6，10个文件则 10个进度并发，复本数为 2，则有1份网络传输，10个进度并发在 5台机器上，基本上每台 机器有2个写进度，则网络流量大体为： S＊1*2=，远远低于千兆网络的带宽。 除去测试数据： dfsadminhadoopTestDFSIO –clean 20 8192 写性能： 基本上与从前相当。 读性能： MapTask平均吞吐：S。 文件的平均 IO速度：S。 mrbench基准测试 重复执行小作业50次，检查平均执行时间 hdfsadminhadoopmrbench-numRuns50 基本情况，上述操作完好来自默认值： inputlines ：1 mapper：2 reducer：1 完成时间：17986ms，即17秒。 更正上述各参数的设置， inputlines ：100000 mapper：1000 reducer：200 hdfsadminhadoopmrbench-numRuns10-inputLines100000-maps1000-reduces200 完成时间：190131ms，即190秒。 在此参数设置下，集群负载很重， mapperreducer总数明显高出了集群一般可以承受的水平。 连续调整参数设置， inputlines ：100000 mapper：100 reducer：5 hdfsadminhadoo