大数据即席查询技术.ppt

百度大数据即席查询服务 第一页，共二十九页。 百度开放云 第二页，共二十九页。 即席查询服务（BigSQL） ? BigSQL定位/特点 ? BigSQL架构 ? BigSQL关键技术 ? BigSQL在Baidu内部的应用 ? 下一步计划 第三页，共二十九页。 即席查询服务（BigSQL） ? BigSQL定位/特点 ? BigSQL架构 ? BigSQL关键技术 ? BigSQL在Baidu内部的应用 ? 下一步计划 第四页，共二十九页。 ?大数据即席查询（Ad-Hoc Query）平台 ?PAAS：开箱即用，用户无需关心机器/集群的运维/细节 ?高性能/规模：裸机/优化/最大PB量级以上 ?低成本：多租户共享集群/按使用付费 BigSQL 定位 第五页，共二十九页。 ? 数据格式：半结构化（CSV/JSON/Parquet/Protobuf等） ? 使用接口：易用/多样化（RestAPI/Console/CLI/JDBC） ? 语法集：兼容开源SparkSQL/HQL ? 按使用付费：按（Query复杂度+扫描数据量）计费 ? 多用户协同：灵活的权限管理 BigSQL 特点 第六页，共二十九页。 ? 面向“人”的查询 ü交互式（Interactive）： ?查询具有较高时效性 ü即席（Ad-Hoc）： ?查询模式相对不固定 ?数据没有（时间/成本）做过多预处理 Ad-Hoc Query 第七页，共二十九页。 Ad-HocQuery OLAP 数据密度 弱（半）结构化 高度结构化 加工过程 粗（浅）加工 深度加工 查询模式 相对随机 相对固定 即席查询 vs 多维分析 第八页，共二十九页。 MPP/Impala SQLonHadoop/SparkSQL 扩展性 1000台以内/PB以下 千台以上/PB以上 查询延迟 毫秒~秒 秒~分钟 架构复杂性 中等 复杂 容错 无 有 调度策略 Gang/Transaction 分批 启停开销 小/常驻进程 大/现启动 与存储结合程度 紧密 松散 MPP/Shared-Nothing 第九页，共二十九页。 BigSQLService WebServe r Tools/SDK BOS BigSQL 示意图 User Query User Query Streaming Batch 第十页，共二十九页。 即席查询服务（BigSQL） ? BigSQL定位/特点 ? BigSQL架构 ? BigSQL关键技术 ? BigSQL在Baidu内部的应用 ? 下一步计划 第十一页，共二十九页。 REST API 接入层（Http Server） SessionManager SparkContext SessionWorker Query Query Scheduler Compute Storage Cluster SparkContext SessionWorker Query Query SparkContext SessionWorker Query Query SDK CLI Tools MetaStore IAM 账单 监控 State Store Console BigSQL 整体架构 第十二页，共二十九页。 ? 易用性：各种形式的API ? 可用性：关键节点容错 ? 安全：租户认证和鉴权、Quota限制 ? 账单 ? 监控 BigSQL整体架构：接入层 第十三页，共二十九页。 计算引擎（Spark） SessionWorker SessionWorker SessionWorker SessionWorker APP Executor Executor APP Executor Executor Executor 分布式缓存（Cache Manager） 存储引擎（DFS/Column Storage） APP Executor APP Executor Executor BigSQL整体架构：引擎层 接入层 第十四页，共二十九页。 即席查询服务（BigSQL） ? BigSQL定位/特点 ? BigSQL架构 ? BigSQL关键技术 ? BigSQL在Baidu内部的应用 ? 下一步计划 第十五页，共二十九页。 高性能Shuffle BigSQL 关键技术（一） 第十六页，共二十九页。 高性能Shuffle BigSQL 关键技术（一） 第十七页，共二十九页。 BigSQL 关键技术（一） 第十八页，共二十九页。 数据缓存层 BigSQL 关键技术（二） User User 接入层