百度MPP数据仓库Palo开源架构解读与应用_架构师峰会_北京站.pptxVIP

百度在线数据仓库Palo ——开源架构解读及应用 百度大数据部 牟宇航 2017.12 • 名字由来： PALO - OLAP • A MPP-based Interactive Data Analysis SQL DB • 百TB ~ PB级别，结构化数据，毫秒/秒级分析 • 百度大数据部研发，第三代 OLAP 产品 – Doris - OlapEngine - Palo • 百度内部署1000+台， 单一业务最大500TB • 17年8月开源， 10月通过“大数据产品能力评测” Palo • 某在线报表业务 • 为网站站长提供流量分析，网站分析，受众分析等多种分析服务 • 300+表 ，数据清洗结构化后百TB+ ，单日增量1TB+ • 查询峰值QPS 2000+ ，日查询量千万级 • 一致性(会话内单调一致性、更新一致性) • 导入5分钟一次 • 查询平均延时30+ms 场景一 • 某业务数据集市 • 集运营、 业务分析、订单管理、会员管理、客户关系管理等数十个管理分析平台 一体的综合数据平台 • 100 +主题视图、 10-100TB • 标准SQL ，Ad-Hoc (即席查询)，秒级分析 场景二 场景三 • 某在线多维分析平台 • 100+表， 最大单表50+维度列、 10+指标列，任意组合， 秒级分析 • 10-100TB 场景