Kudu架构介绍及其在小米的应用实践.pdf

Kudu介绍及实践 小米张震 ⼤纲 • Kudu介绍 • Kudu 与Spark 的整合 • 小米实践 存储系统的现状 实时 HBase 更新 OLTP 随机读写 次 频 的 频繁 新 更新 更 据 数 追加 HDFS OLAP 批量扫描 只读 归档 离线 较频繁 实时 查询 的查询 访问 查询的频次 Kudu 的设计目标 实时 HBase 更新 OLTP 随机读写 次 频 的 频繁 Kudu 新 更新 Fast Analytics on Fast Data 更 据 数 追加 HDFS OLAP 批量扫描 只读 归档 离线 较频繁 实时 查询 的查询 访问 查询的频次 Kudu 的设计目标 ⾼性能： • 快速的批量扫描 2x Parquet • 低延迟的随机读写 1ms on SSD 可扩展： • 400 nodes ，1000s of nodes • low MTTR 关系型数据模型： • 强schema ，有限列，不支持BLOBs • NoSQL APIs (insert/update/delete/scan), Java/C++ Client 事务支持： • 单⾏的ACID 支持 与Hadoop ⽣态的集成： • Flume/Impala/Spark Kudu 的数据模型 • 列存储 CREATE TABLE sales_by_ye