百度 牟宇航 - 百度MPP数据仓库Palo开源架构解读与应用.pdfVIP

百度在线数据仓库Palo ——开源架构解读及应用 百度大数据部牟宇航 2017.12 Palo • 名字由来：PALO -OLAP • A MPP-based Interactive Data Analysis SQL DB • 百TB ~ PB级别，结构化数据，毫秒/秒级分析 • 百度大数据部研发，第三代OLAP 产品 – Doris - OlapEngine - Palo • 百度内部署1000+台，单一业务最大500TB • 17年8月开源，10月通过“大数据产品能力评测” 场景一 • 某在线报表业务 • 为网站站长提供流量分析，网站分析，受众分析等多种分析服务 • 300+表 ，数据清洗结构化后百TB+ ，单日增量1TB+ • 查询峰值QPS 2000+ ，日查询量千万级 • 一致性（会话内单调一致性、更新一致性） • 导入5分钟一次 •