《大数据实时分析利器Druid的应用》.pdf

大数据实时分析利器 Druid 的应用 刘麒贇 OneAPM 大数据架构师 概 览 · 选择 Drui 的背景 · Druid 介绍 · OneAPM 目前基于 Druid 的应用 · 展望 选择 Druid 的背景 我们的数据特点 ➢ 时间序列数据：按一定时间频率收集数据 ➢ 性能指标数据：多 Dimensions ，多 Metrics ➢ 数据增长快 我们对数据引擎的要求 ➢ 大数据量实时处理与历史存储，并且提供同时快速查询历史数据与实时数据的能力 ➢ 能对数据进行 OLAP 分析：多维度聚合、过滤、 groupBy 等 ➢ 良好的扩展性与高可用性 技术选型： Druid vs Others ( 材料来自 http://druid.io/druid.html) 与 Druid 比较 SQL-on-Hadoop Druid ：强于实时处理流式数据，并提供高速灵活的OLAP 查询。按列存 (Impala/Drill/Spark 储，查询效率很高。未来的项目 PlyQL 会加强对 SQL 的支持。 SQL/Presto) SQL-on-Hadoop: SQL 支持较好，也回避了使用高延迟的 MapReduce 。 但实时处理大量输入数据效率不算高；访问 HDFS 数据的步骤较多，如生 成执行计划、执行等，会产生一些 overhead 。 Key/Value Stores Druid ：在Scan 与多维聚合两方面有很高的效率 (HBase/Cassandra Key/Value Stores ： 查询速度很快。但要想达到较快的多维聚合功能，往 /OpenTSDB) 往需要对数据进行预计算 ( 否则会很慢 ) ，不仅难以穷尽所有的查询组合条 件，也会带来较高的数据冗余 Spark Spark 偏重并强于内存迭代计算，与 Druid 的领域不同。相反 Spark 与 Druid 可以做比较好的集成—— Druid 扩展 Spark 的 OLAP 能力 Elasticsearch ES 是很出色的全文检索引擎。但是较之 Druid ，无法在流数据消费阶段就 提供聚合查询等功能，而且资源消耗相对较大 Druid 官方公布的生产系统指标数据 ( 引用 Imply.io 公司公布的一组数据 ) Druid 介绍 Segment ： Druid 的数据存储格式 ➢ 按时间段分 Partition 存储 ➢ 读写不会引起资源竞争 ➢ 一旦写完后不可更改 ➢ Columnar Storage ：按需读取、压缩、基于 BitMap 的索引 ➢ DataSource ：定义 Segment 的 Schem ，逻辑概念，类似于 RDBMS 中的表，包含所有相关的 Segments Druid Coordinator UI Druid 架构 OneAPM 目前基于 Druid 的应用 OneAPM 利用 Druid 存储查询 S S 数据 ➢ 目前 Druid 服务于 3 个产品的 S S 版本： AI(Application Insight),BI(Browser Insight),MI(Mobile Insight) OneAPM Druid 集群概况 （by 2015 Nov.23 ） ➢ 集群分类：生产集群 、测试与监控集群 ➢ 每天实时处理 event 数： 5 billion ➢ 每天实时处理数据量 : 3 TB ➢ 查