Hadoop集群测试报告.docx

下载文档 降价啦

144
0
约4.44千字
约 8页
2018-01-16 发布于山东
举报
版权申诉
保障服务

Hadoop集群测试报告.docx

1、本文档共8页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

测试报告集群设置服务器配置CPU24内存128G带宽1024M磁盘44T磁盘吞吐预计100M/sHadoop服务部署HADOOP-12-151NameNode、Balancer、Hive Gateway、Spark Gateway、ResourceManager、Zk ServerHADOOP-12-152DataNode、SNN、HFS、Hive Gateway、WebHCat、Hue、Impala Deamon、CM Server Monitor、CM Activity Monitor、CM Host Monitor、CM Event Server、CM Alert Publisher、Oozie Server、Spark History Server、Spark Gateway、NodeManager、JobHistory Server、Zk ServerHADOOP-12-153DataNode、Hive Gateway、HiveMetastore、HiveServer2、Impala Catalog、Impala StateStore、Impala Deamon、Spark Gateway、NodeManager、Zk ServerHADOOP-12-154DataNode、Hive Gateway、Impala Deamon、Spark Gateway、NodeManager、Sqoop2HADOOP-12-155DataNode、Hive Gateway、Impala Deamon、Spark Gateway、NodeManager、Zk ServerHADOOP-12-156DataNode、Hive Gateway、Impala Deamon、Spark Gateway、NodeManager、Zk Serverhadoop参数设置yarn　yarn.nodemanager.resource.memory-mb108544yarn.scheduler.minimum-allocation-mb4096yarn.scheduler.maximum-allocation-mb32768yarn.scheduler.increment-allocation-mb4096yarn.nodemanager.resource.cpu-vcores24yarn.nodemanager.vmem-pmem-ratio3.1　　mapreduce　mapreduce.map.memory.mb4096mapreduce.reduce.memory.mb8192mapreduce.map.java.opts3072mapreduce.reduce.java.opts6144mapreduce.task.io.sort.mb1536mapreduce.task.io.sort.factor100mapreduce.reduce.shuffle.parallelcopies15mapreduce.reduce.shuffle.memory.limit.percent0.08mapreduce.reduce.shuffle.input.buffer.percent0.9mapreduce.job.max.split.locations15mapreduce.map.failures.maxpercent5mapreduce.reduce.failures.maxpercent5　　dfs　dfs.namenode.handler.count35dfs.datanode.handler.count3dfs.datanode.max.transfer.threads4096基准测试HDFS读写的吞吐性能1.1 连续10次执行如下写操作，其性能见图示：cd /opt/cloudera/parcels/CDH-5.4.9-1.cdh5.4.9.p0.19/jarshdfsadminhadoop jar hadoop-test-2.6.0-mr1-cdh5.4.9.jar TestDFSIO -write -nrFiles 10 -fileSize 1000 -resFile /tmp/TestDFSIO_results.log其具体数据见表格：No.Throughput mb/secAverage IO rate mb/secTest exec time sec1213262176573.077226.8747127827.9325618761.257330.7341465631.8610172354.897425.5561660628.2618198454.782531.2516602432.1100196862.44