王鹏-openGauss+MOT（内存表）DBA指南训练营第二期.pdfVIP

2021年9月 openGauss MOT （内存表）DBA指南 作者： 王鹏 博士 Vinoth Veeraraghavan Vladi Vexler 议程 • MOT介绍 • MOT部署与配置 • MOT使用情况 • 测验和家庭作业 Confidential. Huawei Technologies Ltd. 2 OPENGAUSS MOT技术介绍 Confidential. Huawei Technologies Ltd. 3 MOT介绍 内存表： • 基于事务的行存储引擎，与传统磁盘引擎并排的基于 磁盘的存储引擎 • 针对多核和大内存服务器优化：近线性可扩展性 • 符合ACID要求+严格可持久化+高可用性 • 完全集成到openGauss中，支持绝大部分SQL特性 （ 存储过程、函数...） • 支持x86和ARM64鲲鹏 • 优点： – 高吞吐量：3倍于磁盘表，6倍于PG 12.2 – 低延迟：事务加速3倍至5.5倍 – 严格一致性保障的HA和RTO 关键技术： • 内存优化数据结构 • NUMA感知，事务本地内存 • 无锁事务管理 • 高效、可靠的持久化 • 无锁索引 • 查询本机编译(JIT) Confidential. Huawei Technologies Ltd. 4 基于Silo的事务管理以及乐观并发控制 • 事务本地内存与全局内存： – 全局内存（shared memory）是所有CPU核 心共享的长期内存，主要用于存储所有表数 据和索引 – 本地内存是短期的私有内存，主要用于在会 话中处理事务，并将数据更改存储在本地内 存中，直到提交阶段。 • 无锁事务管理： – 所有相关数据都会从全局内存复制到本地内 存。 – 基于OCC算法，最小化全局内存上的争用时 间。 – 事务完成后，此数据将从本地内存推回全局 内存。 Confidential. Huawei Technologies Ltd. 5 扩展FDW • 为了将MOT存储引擎集成到openGauss中， 使用和扩展了现有的外部数据封装 （FDW）机 制。 • MOT存储引擎嵌入在openGauss内部，内存 表由它管理。MOT表的访问由openGauss规 划器和执行器控制。 • MOT从openGauss获取日志记录和检查点服 务，并参与openGauss的恢复过程。 简单DDL ： 用于完全MOT集成的FDW扩展 create FOREIGN table test(x int) [server mot_server]; • 创建表和索引 标准SQL • 计划和执行的索引使用情况 select * from test; • 持久化 （日志记录、检查点）和高可用性 • 垃圾回收和删除表/索引