Spark在百度大数据生态上的应用与实践.pdf

Spark User Beijing Meetup Spark在百度大数据生态上的 应用与实践 汪凯百度基础架构部 2015年6月 一、Spark 在百度的发展历程 二、工程（产品）实践案例 Spark 在 百度的发展历程 Spark In Baidu Spark 0.8-0.9 Spark 1.0 Spark 1.1 Spark 1.2 •正式引入百 •支持百度开 •支持内部数 •对接 度,创建内部 放云 据仓库系统 Normandy 代码分支 •第一个内部 •对内开放 •… •支持内部 业务上线 SQL Service HDFS •对接Tachyon •支持内部数 据传输系统  兼容百度内部的 HDFS(PETA)集群  支持BIGPIPE 数据源，多一种流式计算选择 Spark In Baidu Spark 0.8-0.9 Spark 1.0 Spark 1.1 Spark 1.2 •正式引入百 •支持百度开 •支持内部数 •对接 度,创建内部 放云 据仓库系统 Normandy 代码分支 •第一个内部 •对内开放 •… •支持内部 业务上线 SQL Service HDFS •对接Tachyon •支持内部数 据传输系统  支持百度公有云产品BMR ，对外提供大数据计算服务  第一个内部业务上线 Spark In Baidu Spark 0.8-0.9 Spark 1.0 Spark 1.1 Spark 1.2 •正式引入百 •支持百度开 •支持内部数 •对接 度,创建内部 放云 据仓库系统 Normandy 代码分支 •第一个内部 •对内开放 •… •支持内部 业务上线 SQL Service HDFS •对接Tachyon •支持内部数 据传输系统  UDW 数据接入，Spark SQL 直接读写 UDW 表格  CloudQuery ，高速 UDW 查询引擎  整合Tachyon做透明Cache层 Spark In Baidu Spark 0.8-0.9 Spark 1.0 Spark 1.1