百度MPP数据仓库Palo开源架构解读与应用.pdfVIP

百度在线数据仓库Palo ——开源架构解读及应用 百度大数据部牟宇航 2017.12 Palo • 名字由来：PALO -OLAP • A MPP-based Interactive Data Analysis SQL DB • 百TB ~ PB级别，结构化数据，毫秒/秒级分析 • 百度大数据部研发，第三代OLAP 产品 – Doris - OlapEngine - Palo • 百度内部署1000+台，单一业务最大500TB • 17年8月开源，10月通过“大数据产品能力评测” 场景一 • 某在线报表业务 • 为网站站长提供流量分析，网站分析，受众分析等多种分析服务 • 300+表 ，数据清洗结构化后百TB+ ，单日增量1TB+ • 查询峰值QPS 2000+ ，日查询量千万级 • 一致性（会话内单调一致性、更新一致性） • 导入5分钟一次 • 查询平均延时30+ms 场景二 • 某业务数据集市 • 集运营、业务分析、订单管理、会员管理、客户关系管理等数十个管理分析平台 一体的综合数据平台 • 100+主题视图、10-100TB • 标准SQL ，Ad-Hoc （即席查询），秒级分析 场景三 • 某在线多维分析平台 • 100+表，最大单表50+维度列、10+指标列，任意组合，秒级分析 • 10-100TB 场景 • 以前 • 报表：Hadoop + MySQL • 分析：Hadoop + Hive • 现在 在线报表 在线多维分析 在线数据仓库 Palo 即席查询 Palo在百度大数据技术栈的位置 Palo在友商技术栈的应用 在线数据仓库——OLAP • Online Analytical Processing • Online vs. Offline (Interactive vs. Batch) • Analytical Processing vs. Transactional Processing OLTP OLAP 面向应用 日常交易处理 明细查询，分析决策 访问模式 简单小事务，操作少量数据 复杂聚合查询，查询大量数据 数据 当前最新数据 历史数据 数据规模 GB TB ~ PB 数据更新 实时更新 批量更新 数据组织 满足3NF 反范式，星型模型 OLAP-商业产品 产品 简介 技术特点 收购情况 Netezza 2000年在美国成立 软硬一体机 2010年9月20日，IBM出资17.8亿美 Netezza TwinFin 采用FPGA数据过滤代替索引 元收购 Greenplum 2003年在美国成立 行存 + 列存 2010年7月6日，EMC出资3亿美元收 Greenplum Database Shared-No