OLTP和OLAP技术融合架构实践（培训）.pdfVIP

技术创新 ，变革未来 目录 • 一、OLTP与OLAP 技术介绍 • 二、融合技术选型 • 三、Binlog+Kudu+impala最佳实践 1.1 OLTP 背景介绍 联机事务处理OLTP （on-line transaction processing ） 也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即 传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响 应的方式之一。[1] 关键词： 数据量少、面向应用、并行事务处理、分库分表、读写分离、 Cache技术、B-Tree索引 实时性要求高、数据库作为载体、SQL交互 [1] OLTP概念引用自百度百科 /item/OLTP/5019563 1.2 OLAP 背景介绍 联机实时分析OLAP (OnlineAnalytical Processing, ） 联机分析处理OLAP是一种软件技术，它使分析人员能够迅速、一致、交互 地从各个方面观察信息，以达到深入理解数据的目的。它具有FASMI(Fast Analysis of Shared Multidimensional Information)，即共享多维信息的快速分 析的特征。[2] 关键词： 数据海量、追加操作为主、数据分区、切片和切块、雪 花模型 钻取、旋转、投影、数据仓库、MDX、实时性要求低 [2] OLAP概念引用自百度百科 /item/联机分析处理?fromtitle=OLAP 1.3 两者面向场景的分析-HTAP[3] 需求： 一份数据存储用于OLTP和OLAP处理。 1）数据实时可见 2 ）支持多维度低延迟查询交付 3 ）低成本 通用的解决方法： 数据Sharding：实例间share nothing，便于横向水平扩展 数据分区：满足数 据线性扩展，通过引擎优化命中细节 分布式事务：两阶段提交 [3] /wiki/ Hybrid_transactional/analytical_processing_(HTAP) 存储模型 • 典型的Shared Disk架构，从底层的存储层共享解决一致性问题，简单粗暴。 共享存储 • 理论上无限扩展，基于Raft维持一致性 • 弱化OLAP功能，重点解决单点容量问题。 • 代表作：AWS Aurora、PolarDB • 水平 （Scale Out ）/水平 （Scale Up）切分、综合切分，把同一表数据分散到多个数据库或者多节点， 增强并发能力，同时解决扩展能力。 Sharding • 多个表，可以跨越DB和服务器节点。 • Proxy层责任重，路由、优化、事务状态机、流式执行器。 • 代理：Mysql方案的：Mycat、Baidu Dbproxy ；引擎：Oracle Sharding、MongoDB；DAO层： Hibernate Shards、 Sharding-JDBC • 切分策略根据业务键、时间。 • 侧重单张表的水平切分，突破I/O瓶颈。 • 查询引擎负责任务计划、优化，不需要代理。 Horizontal Partition • 切分策略根据Hash、Range、List 。 • 一般和多副本同时发挥作用