Hive+SQL到Spark+SQL在滴滴的实践_杨建丹+滴滴大数据架构部.pdfVIP

HiveSQL到SparkSQL在滴滴的实践 杨建丹/滴滴大数据架构部 主要内容 • 背景介绍 • 迁移方案 • 引擎差异 • 迁移结果 • 下一步计划 背景介绍 背景介绍 • 离线计算现状 • 存在Hive和Spark 2套计算引擎 • Hive是当前SQL任务主要引擎- 占83% • Hive平均执行时间20分钟以上 • 为什么要启动这个项目 • 更快：Spark 比Hive MR更快, 平均提速30%以上 • 更稳：Hive Server 隔离性差; Spark SQL一个SQL对应一个App • 更强：人力聚焦, 对引擎有更强的掌控力 主要内容 • 背景介绍 • 迁移方案 • 引擎差异 • 迁移结果 • 下一步计划 2. 迁移方案 2.1 SQL收集 2.2 SQL 改写 回放 2.3 结果对比