实时大数据分析之利器Druid.PDFVIP

实时大数据分析之利器Druid 欧阳辰 2017/ 12 议程 • 关于品友 • 大数据分析的繁花似锦 • 历史和发展 • 架构 • 技术优势 • 应用 • 其他分析工具 品友 ：中国程序化营销的领跑者 品牌程序化市场占有率 59.8% 独立第三方广告技术领先者 ：创新执行力 品友大数据计算平台 1.5P 260亿 8.9亿 每 日处理 1P的数据量 每日处理260亿条日志 8.9亿Cookies人群 4亿 20T 5.3亿 每日覆盖4亿个网页 每 日20T新增 日志 5.3亿 日独立用户设备 大数据分析的繁花似景 大数据分析的CAP 例如： § Druid: A,P 性能 § Vertica: C,P （Performance） § Presto: C 能力 成本 (Capacity) (Affordable) § ClickHouse: P, C, A? DRUID介绍 • 2011 Metamarket 开发，2012年开源 • 初始用于广告分析，程序化分析 • +150贡献者 2017, 8, Druid 中国 第五次Meetup • 典型应用 • 300亿事件 /天 (品友互动) • 10亿事件/分钟 （ Jolata ） • 用户行为分析 （今日头条） • 广告实时分析 （小米） • 性能监控分析 （OneAPM） • 等等 2017, 3, Druid 中国 第四次Meetup Druid简介 • 高可用性，Segment Shard机制 • 高性能，亚秒级查询响应 • 高吞吐，支持实时数据接入，批量数据接入 • 正确性，lambda架构能够在T+1时间校正实时数据 • 查询有segment级别缓存 • 堆外内存复用，避免GC 问题 数据分析的演化阶段 DRUID 架构 Druid 的类 LSM-tree Druid一些高级特性 • 近似直方图和分位数 • 预估数据（Data Sketch） • 地理索引和查询 • 路由器 （Router） • Kafka 索引服务 Druid数据分析生态系统 数据可视化 Imply Pulsar 分析平台 (imply.io) (eBay)