OpenTSDB造成Hbase整点压力过大问题的排查和解决.docVIP

个表在最近这段时间每天上午10 个表在最近这段时间每天上午 10点左右有大量的读操作， OpenTSDB造成Hbase整点压力过大问题的排查和解决 业务背景 OpenTSDB是一款非常适合存储海量时间序列数据的开源 软件，使用 HBase作为存储让它变的非常容易扩展。我们 在建设美团性能监控平台的过程中，每天需要处理数以亿计 的数据，经过几番探索和调研，最终选取了 OpenTSDB作 为数据存储层的重要组件。OpenTSDB的安装和配置过程都 比较简单，但是在实际的业务应用中，还是会出现这样那样 的问题，本文详细介绍我们在 OpenTSDB实际使用过程中 遇到的HBase整点压力过大的问题，期望对大家有些参考 意义。 问题的出现 性能监控平台使用 OpenTSDB负责存储之后不久（创建的 tsdb-perf 这表名称是tsdb-perf） tsdb-perf 这 造成HBase集群压力过大，但是想去分析问题的时候发现 读操作又降为 0 了，为了避免类似情况未来突然发生，需 要我来排查下原因。 于是我就想：性能监控平台目前只是个内部系统，用户使用 量不大，并且只有在用户需要查看数据时去查询，数据读取 量不应该造成 HBase的压力过大。 重现问题 如果要解决这个问题，稳定重现是个必要条件，根据数据平 台组同事的反馈，我们做了更详细的监控，每隔两分钟采集 性能监控平台所用的 HBa