《Tilera低功耗存储服务器hadoop测试报告》.pdf

Tilera 服务器 （整机测试） 单节点，配备9 核CPU，共挂载15 块硬盘，每块3TB 功耗 低负载时 （装载15 块硬盘）：127 w 高负载时：（装载15 块硬盘）：152 w 磁盘通量 1. 纯写测试 使用dd 命令向5 块硬盘分别同时写入8GB 文件 CPU 状态： 平均写速度：47.0 MB/s 使用dd 命令向15 块硬盘分别同时写入8GB 文件 CPU 状态： 平均写速度：43.0 MB/s 2. 纯读测试 使用dd 命令从5 块硬盘分别同时读出8GB 文件 CPU 状态： 平均读速度：145 MB/s 使用dd 命令从15 块硬盘分别同时读出8G 文件 CPU 状态： 平均读速度：111 MB/s 网络通量 共4 个千兆网口 总网络传输速率：415 MB/s 4 千兆满跑情况下，CPU 状态： HDFS 写入通量 配置单节点hadoop 测试环境，服务器挂载15 块硬盘，在每块硬盘下均设置datanode 路径， 使用hadoop 自带的TestDFSIO 测试 HDFS 的写入性能，用一个MapReduce 作业并行地写文 件，各个文件在独立的map 任务上被写入，reduce 任务产生总结报告。 1. 使用TestDFSIO 进行写入通量测试 写1 个文件，文件大小为1000MB “bin/hadoop jar lib/hadoop-test-0.20.2-cdh3u0.jar TestDFSIO –write – nrFiles 1 –fileSize 1000” CPU 实时状态： 总写入吞吐量：38.7 MB/s 同时写5 个文件，文件大小为1000MB “bin/hadoop jar lib/hadoop-test-0.20.2-cdh3u0.jar TestDFSIO –write – nrFiles 5 –fileSize 1000” CPU 实时状态： 总写入吞吐量：85.5 MB/s 同时写10 个文件，文件大小为1000MB “bin/hadoop jar lib/hadoop-test-0.20.2-cdh3u0.jar TestDFSIO –write – nrFiles 10 –fileSize 1000” CPU 实时状态： 总写入吞吐量：93.0 MB/s 同时写15 个文件，文件大小为1000MB “bin/hadoop jar lib/hadoop-test-0.20.2-cdh3u0.jar TestDFSIO –write – nrFiles 15 –fileSize 1000” 总写入吞吐量：95.0 MB/s 2. 使用HDFS 本地put 命令进行写入通量测试 使用put，将本地文件上传至hdfs，同时写5 个文件，每个文件大小为8000MB 总写入吞吐量：91.7 MB/s 使用本地put，将本地文件上传至hdfs，同时写8 个文件，每个文件大小为8000MB 总写入吞吐量：93.5 MB/s 使用put，将本地文件上传至hdfs，同时写10 个文件，每个文件大小为8000MB 总写入吞吐量：99.2 MB/s 3. 使用HDFS 远程put 命令进行写入通量测试 使用远程put，将远程服务器文件上传至hdfs，同时写5 个文件，每个文件大小为8000MB 总写入吞吐量：109.2 MB/s 使用远程put，将远程服务器文件上传至hdfs，同时写8 个文件，每个文件大小为8000MB 总写入吞吐量：114.96 MB/s 使用远程put，将远程服务器文件上传至hdfs，同时写10 个文件，每个文件大小为8000MB 总写入吞吐量：112 MB/s CPU 压缩速度 小文件：145 MB （151980114 bytes） 压缩后大小：12.5 MB bytes） 压缩时间：0.12 s 压缩比：8.6%