网易视频云技术分享：hbase优化实战.pdfVIP

网易视频云技术分享：HBase 优化实战 网易视频云是网易倾力打造的一款基于云计算的分布式多媒体 处理集群和专业音视频技术，提供稳定 畅、低时延、高并发的视频 直播、录制、存 、转码及点播等音视频的 PAAS 服务，在线教育、远 程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开 发即可打造在线音视频平台。现在，网易视频云的技术专家给大家分 享一则技术文：HBase 优化实战。 　　背景 　　Datastream 一直以来在使用HBase 分流日志，每天的数据量很 大，日均大概在 80 亿条，10TB 的数据。对于像 Datastream 这种数据量 巨大、对写入要求非常高，并且没有复杂查询需求的日志系统来说，选 用 HBase 作为其数据存 平台，无疑是一个非常不错的选择。 　　HBase 是一个相对较复杂的分布式系统，并发写入的性能非 常高。然而，分布式系统从结构上来讲，也相对较复杂，模块繁多，各 个模块之间也很容易出现一些问题，所以对像 HBase 这样的大型分布 式系统来说，优化系统运行，及时解决系统运行过程中出现的问题也 变得至关重要。正所谓：“你”若安好，便是晴天；“你”若有恙，我便没有 星期天。 　　历史现状 　　HBase 交接到我们团队手上时，已经在线上运行有一大段时 间了，期间也偶尔听到过系统不稳定的、时常会出现一些问题的言论， 但我们认为：一个能被大型互联网公司广泛采用的系统(包括 Facebook，twitter ，淘宝，小米等)，其在性能和可用性上是毋庸置疑的， 何况像 Facebook 这种公司，是在经过严格选型后，放弃了自己开发 的 Cassandra 系统，用 HBase 取而代之。既然这样，那么，HBase 的不 稳定、经常出问题一定有些其他的原因，我们所要做的，就是找出这 些 HBase 的不稳定因素，还 HBase 一个“清白”。“查案”之前，先来简单 回顾一下我们接手 HBase 时的现状(我们运维着好几个 HBase 集群， 这里主要介绍问题最多那个集群的调优) ： 名称 数 备注 量 服务器数 17 配置不同，HBase、HDFS 都部署在这些机器上 量 表数量 30+ 只有部分表的数据量比较大，其他基本没多少数 据 Region 数 600 基本上都是数据量较大的表划分的 region 较多 量 + 请求量 5000 服务器请求分布极其不均匀 0+ 　　应用反应经常会过段时间出现数据写入缓慢，导致应用端数 据堆积现象，是否可以通过增加机器数量来解决？ 　　其实，那个时候，我们本身对 HBase 也不是很熟悉，对 HBase 的了解，也仅仅在做过一些测试，了解一些性能，对内部结构，实现原 理之类的基本上都不怎么清楚。于是刚开始几天，各种问题，每天晚上 拉着一男一起摸索，顺利的时候，晚上 8，9 点就可以暂时搞定线上问 题，更多的时候基本要到 22 点甚至更晚(可能那个时候流量也下去了)， 通过不断的摸索，慢慢了解 HBase 在使用上的一些限制，也就能逐渐 解决这一系列过程中发现的问题。后面挑几个相对比较重要，效果较 为明显的改进点，做下简单介绍。 　　调优 　　首先根据目前 17 台机器，50000+的 QPS，并且观察磁盘的 I/O 利用率和 CPU 利用率都相当低来判断：当前的请求数量根本没有达到 系统的性能瓶颈，不需要新增机器来提高性能。如果不是硬件资源 问 题，那么性能的瓶颈究竟是什么？ 　　Rowkey 设计问题 　　现象 　　打开 HBase 的 Web 端，发现 HBase 下面各个 RegionServer 的 请求数量非常不均匀，第一个想到的就是 HBase 的热点问题，