cdh之大数据集群规划.pdfVIP

cdh之⼤数据集群规划 在搭建⼤数据集群之前，对⼤数据集群的有效规划是⾮常重要的⼀件事，所以此篇博⽂主要介绍集群节 点规划。 假如公司测试环境有5台机器，⽣产环境100台机器，配置如下： MyCluster001: mysql cm-server cm-agent MyCluster002: cm-agent nn rm MyCluster003: cm-agent nn rm MyCluster004: cm-agent dn nm broker zk MyCluster005: cm-agent dn nm broker zk MyCluster006: cm-agent dn nm broker zk 。。。。。 MyCluster100: cm-agent dn nm 备注： 1、选择第⼀台（配置不是太强的机器）作为⼯具节点：mysql cm-server cm-agent 2、选择2台，专门⽤来部署⽣态圈的主从架构的组件（HDFS、YARN、HBase）的主⾓⾊ 3、dn和nm部署在同⼀台（追求数据本地化），其他⾮主从架构的组件的进程可以随意部署，但尽量在 同⼀个rack 4、cm-server没有必要做ha ，只有⼀台机器部署cm-server⾜以 5、 什么是数据本地化？ DataNod