HBase与HDFS混合部署本地读写优化策略.pdfVIP

《074_HBase和HDFS混合部署本地读写优化》

分析一下，如果HBase集群中的HRegionServer所在的服务器与HDFSDataNode所在

的服务器不是同一台或同一批，数据写入和时必然会进行网络通信。HBase会使用

HDFS客户端（客户端API）‑与DataNode机器建立TCP网络连接，并发送网络请求

以进行数据读写操作。

网络通信的开销必然会导致HBase的读写性能依赖于与HDFS的网络通信，性能会有一

定的下降。

要将HBase性能提升至最高，HBase和HDFS应当混合部署，HRegionServer和

DataNode两个JVM进程都在同一台机器上启动。

通常建议HBase的HRegionServer和HDFS的DataNode混合部署，这样可以实现数据

本地化，即HBase的HRegionServer尽可能将数据放置在其所在服务器的DataNode中，

实现数据本地化。

将我们的block写入到本地服务器的datanode中，当然还会将b副本复制到其他机

器上，实现数据本地化，效果较好。

有一个特性叫做region数据本地性（regiondatalocality），即region数据在所在节点

上的比例，默认情况下，region的数据都可以在当前节点上。但