archsummit北京-《sql-on-hadoop方案在freewheel的实践》-林明.pdf

SQL-on-Hadoop在FreeWheel的实践 FreeWheel数据平台部 林明 我们的业务 广告销售 广告结算 广告执行 •库存预测 •广告创意管理 •广告测量 •投放预测 •用户画像 •业务报表 •广告预案管理 •受众定向 •广告结算 •广告订单管理 •跨屏广告投放 •合作伙伴分成 •销售流程管理 •广告投放优化 •商业智能分析 单日投放近10亿次广告，生成2TB广告投放数据 Ad-hoc数据分析 • 应用场景 – 咨询团队分析客户业务 – 客户服务团队解决客户问题 – 工程师团队分析线上问题 • 业务需求 – 可以同时分析多个数据源 – 获取多维度和多时间跨度的分析结果 – 在几分钟甚至几秒内完成 SQL-on-Hadoop解决方案 查询接口（SQL ） MPP查询引擎 连接器（Connector ） 存储（HDFS ） 候选方案 • MPP查询引擎 – Impala/Stinger/Drill/Hive/Presto等 • 存储格式 – 列组/ORC/Parquet等 我们的选择 • MPP查询引擎： Presto – 非常快的查询速度 – 支持对不同的数据源进行join 操作 – 方便二次开发 • 存储格式：Parquet – 支持复杂的嵌套数据结构 – 高效的记录碎片化（shred ）与装配（assembly ） – 高效的压缩 – 开发社区活跃 Ad-hoc数据分析系统 SQL查询接口 Presto查询引擎 协调节点 计算节点 Parser/Anal Logical Distributed Node Task yzer Planner Planner Scheduler 连接器 分块管理器(split manager) 记录游标(Record cursor) 元数据 API 翻译层 数据块元数据缓存 数据注入与存储 匹配器 (matcher) HDFS 数据注入 播放器 广告管理器 广告服务器 请求