DTCC2015-百度olap系统实践-王猛.pdf

成就直达号的大数据引擎技术专场 百度直达号 / 百度开放服务平台 / 百度开放云 / 百度OLAP系统实践 目录 • OLAP背景介绍 • Palo整体架构 • Palo关键技术 • Palo对外开放 什么是OLAP • Online Analytical Processing – Analytical Processing vs. Transactional Processing – Online vs. Offline (Interactive vs. Batch) OLTP vs. OLAP OLTP OLAP 面向应用 日常交易处理 明细查询，分析决策 访问模式 简单小事务，操作少量数据 复杂聚合查询，可以过大量数据 数据 当前最新数据 历史数据 数据规模 GB TB ~ PB 数据更新 实时更新 批量更新 数据组织 满足3NF 反范式，星型模型 Online vs. Offline OLAP - Interactive Data Analysis 结构化数据的 文本数据的 各类数据的 简单查询分析 简单查询分析 复杂分析 Multidimensional Reporting Text Analysis Data Mining Analysis SQL DB Search DB Mining DB (PALO) OLAP应用-在线报表 OLAP应用-多维分析 商业产品 产品 简介 技术特点 收购情况 Netezza 2000年在美国成立  软硬一体机 2010年9月20日，IBM出资17.8亿美 Netezza TwinFin  采用FPGA数据过滤代替索引 元收购 Greenplum 2003年在美国成立  行存 + 列存 2010年7月6日，EMC出资3亿美元收 Greenplum Database  Shared-Nothing集群 购 Vertica 2005年在美国成立  列存 2011年2月，HP出资3.5亿美元收购 Vertica Analytic Database  Shared-Nothing集群 Aster Data 2005年在美国成立  SQL-MapReduce 2011年7月6日，Teradata出资2.63亿 nCluster  Shar