邓钫元-链家大数据多维分析引擎实践只读.pdf

链家大数据多维分析引擎实践 邓钫元 链家大数据部 关于我 链家网大数据集群架构组负责人 15年至今负责链家大数据集群建设，打造公司级计算存储 平台。 专注于hadoop生态组件的定制开发及应用， 深入hadoop,hbase等源码，成为contributor回馈社区， 擅长底层性能调优。 目录 OLAP背景简介 链家多维分析演进和展望 OLAP平台全链路优化实践 QA OLAP vs OLTP Online Analytical Processing / Online Transactional Processing OLTP （事务） OLAP （分析） 面向应用 日常交易处理 明细查询，分析决策 访问模式 简单小事务，操作少量数据 复杂聚合查询，可以过大量数据 数据 当前最新数据 历史数据 数据规模 GB TB ~ PB 数据更新 实时更新 批量更新 数据组织 满足3NF 反范式，星型模型 ,雪花模型 example 给定时间范围，按 “returnflag” 和“orderstatus” 报告营 收。 OLAP引擎分类 ROLAP （Relational OLAP ） 基于关系模型，实时进行聚合计算 实现：传统数据库引擎/spark sql/presto MOLAP （Multi-dimension OLAP ） 基于预定义模型，预先进行聚合计算，存储汇总结果 实现 ：Kylin/Druid HOLAP （Hybrid OLAP ） 混合多引擎，不同场景路由到不同引擎 ROLAP 优势 warehouse 支持任意的sql查询 无数据冗余，一致性好 扫描 缺点 大数据量及复杂查询返回慢 聚合 并发较差 场景 汇总 灵活性很高的分析 MOLAP 优势 支持超大原始数据集 warehouse 快速返回，并发高 缺点 定义模型（cube ） 不支持明细 需要预先定义维度和指标