Hadoop集群测试报告.pdfVIP

测 试 报 告 一、 集群设置 1. 服务器配置 CPU 24 内存 128G 带宽 1024M 磁盘 44T 磁盘吞吐预计 100M/s 2. Hadoop服务部署 HADOOP-12-151 NameNode、Balancer 、Hive Gateway 、Spark Gateway 、ResourceManager 、Zk Server HADOOP-12-152 DataNode、SNN、HFS、Hive Gateway、WebHCat、Hue、 Impala Deamon、CMServer Monitor 、CM Activity Monitor 、 CM Host Monitor 、CM Event Server 、CM Alert Publisher 、Oozie Server 、Spark History Server 、Spark Gateway、NodeManager、 JobHistory Server 、Zk Server HADOOP-12-153 DataNode、Hive Gateway、HiveMetastore 、HiveServer2 、Impala Catalog 、Impala StateStore 、Impala Deamon 、Spark Gateway 、 NodeManager、Zk Server HADOOP-12-154 DataNode、Hive Gateway、Impala Deamon、Spark Gateway、NodeManager、Sqoop2 HADOOP-12-155 DataNode、Hive Gateway、Impala Deamon、Spark Gateway、NodeManager、Zk Server HADOOP-12-156 DataNode、Hive Gateway、Impala Deamon、Spark Gateway、NodeManager、Zk Server 3. hadoop参数设置 yarn -mb 108544 -allocation-mb 4096 -allocation-mb 32768 -allocation-mb 4096 -vcores 24 -pmem-ratio 3.1