Hbase集群搭建的配置.docVIP

Hbase集群搭建的配置参考 如果主机足够强大（10台小集群），可以将Hadoop JobTracker、NameNode、Secondary NameNode配置在这台机器上，但Secondary NameNode尽量不要。 如果Hbase和MapReduce的负载都很重的话，通常将他们分开到两个集群上。 小集群（10台机器左右）可以把HBase Master、Hadoop NameNode、JobTracker并行部署在一个节点上，ZooKeeper也可以装在这个节点上（4~6核CPU，24~32G内存，4块SATA硬盘）。 如果集群更大一些（10~20台），可以将NameNode和JobTracker配置在同一台机器上，但HBase Master和ZooKeeper配置在另一台机器上，但Zookeeper要一个单独的磁盘。 中型集群（50台左右）NameNode和JobTracker应该部署到不同的机器上，NameNode和Secondary NameNode不能用太次的硬件，（应为它一挂掉，全挂）并确保他们有足够的内存。但HBase Master和ZooKeeper还可以在一台机器上，也可以增加HBase Master和ZooKeeper的数量。 大型集群（超过50台）中NameNode和Secondary NameNode很重要，要用双电源、RAID 1、好一点的网卡、足够的内存（8核,至少16G内存，1Gb网卡）。HBase Master 和ZooKeeper要5个以上。 中型集群中，如果可能，可以将HBase Master 配置在单独的一台机器上。（4~6核，8~16G内存，两块硬盘，一块系统，一块日志，1Gb网卡）。 DataNode和RegionServer总部署在一起，最好不要让他们运行MapReduce(8~12核，24~32G内存，12块1TB硬盘)。 ZooKeeper可以和HBase Master配置在一起，她们都是轻量级进程。但ZooKeeper对延迟更加敏感，所以要有单独的硬盘。 部署软件可以用自动化的软件：Cloudera Manager、Puppet、Chef等。建议用Hadoop专业的Cloudera Manager。 更多的冗余和更好的配置是为了增加其可用性。