云原生数据库的架构演进.pptx

云原生数据库架构演进

阿里云数据库资深技术专家江疑

章颖强，花名江疑。阿里云资深技术专家（P9），PolarDB事务引擎和新架构研发负责人。

浙江大学本科、研究生，十年以上的数据库研发经验，AliSQL的创始研发之一。

14-18年阿里双十一数据库内核负责人，主导集团数据库架构从MySQL演进到基于Paxos的X-Cluster架构。

目前负责PolarDB事务引擎及新一代架构研发和商业化，同时多个技术架构突破在SIGMOD/VLDB/ASPLOS等顶会发表。

云原生数据库架构的业务驱动和演进

回顾基于存储计算分离的第一代架构

蓬勃发展的基于Serverless的第二代架构

未来已来的基于数据池化和多写的第三代架构

业务的价值和思考

背后的业务驱动

云原生数据库架构历史

云数据库：基于云上IaaS能力部署的传统架构的数据库

云原生数据库：面向云上业务需求重构数据库架构的数据库

主节点

备节点

存储

存储

主节点 读节点

存储

主节点

存储

主节点 读节点

存储

主节点 主节点 主节点

传统架构

第一代架构

计存分离，一写多读

第二代架构Serverless，无感弹性

第三代架构

数据池化，多点可写

业务需求推动架构演进

回顾基于存储计算分离的第一代架构

主节点

CPU

Memory

Storage

逻辑复制

只读节点

CPU

Memory

Storage

数据库架构痛点

弹性升降配困难

只读扩展效率低，延迟大

存储容量瓶颈

业务痛点

提前评估规划数据库规格，大量资源浪费

临时峰值的稳定性问题

为了读扩展提前拆库

为了存储容量提前拆库

主节点

CPU

Memory

Storage

缓存同步

只读节点

CPU

Memory

Memory

CPU

主节点

Storage

逻辑复制

Memory

CPU

只读节点

Storage

架构优势

存储计算分离，升降配无数据迁移

分布式存储，容量上限提升，按量计费

只读节点无独立存储，无数据回放，延迟低

业务收益

分钟级升降配

无存储瓶颈，无预留存储

低成本只读扩展

传统数据库

第一代云原生数据库

蓬勃发展的基于Serverless的第二代架构

CPU

主节点

Storage

缓存同步

Memory Memory

CPU

只读节点

第一代云原生数据库

数据库架构痛点

升降配时候的闪断

Serverless无法无感跨机弹性

只读节点的延迟

业务痛点

游戏等2C业务，对闪断特别敏感，需要提前停服

业务容量规划和突发流量处理的难点

电商/微服务化业务，难以接受读延迟

为保证业务稳定性的预留水位

业务闪断

某游戏业务

某聊天软件

读延迟问题

某电商已买到

某微服务业务

流量预测

某SaaS业务突发流量

只读节点一致性测试

Memory

CPU

主节点

Storage

Memory

CPU

只读节点

RDMA

内存交换

共享存储

核心特性

无感弹性变配/跨机迁移

高性能全局一致性

跨机Serverless

本地ScaleUp

-无感BPResize

跨机ScaleUp

基于热备技术的秒级切换

连接和事务跨机续传

智能决策

跨机ScaleOut

集群维度高性能全局一致性

热资源池实现秒级横向弹性

Serverless是第二代云原生数据库能力的集中体现

PolarDBServerless

业务不再需要关注的场景

买什么规格的数据库

数据库变更要不要停服

大促和活动的提前升级

业务闪断

某游戏业务

某聊天软件

读延迟问题

某电商已买到

某微服务业务

流量预测

某SaaS业务突发流量

不停服版本升级和变配

RO承担核心流量

自动增减RO

Serverless降本

抵御非预期突增，提升稳定性

未来已来的基于数据池化和多写的第三代架构

RW1

RW2

RW3

水位

水位

水位

RO1

RO2

RO3

聚合分析库

大型业务的典型数据库形态

多个分散的小集群

按业务分库/租户分库/分库分表

独立的聚合分析

业务痛点

冗余备库

横向弹性伸缩

一体化的聚合分析

数据池化共享

不同业务间的数据池化共享-冗余备节点

不同系统间的数据池化共享-冗余数据和低效的同步

资源利用率提升

主节点

备节点

存储

存储

主节点 读节点

存储

主节点

存储

主节点 读节点

传统架构

第一代架构

计存分离，一写多读

第二代架构Serverless，无感弹性

SharedStorage

T

P

T

P

RW RW

T

P

T

P

RW RW

T

P

全局RO

T

P

列存RO

秒级横向扩缩容

…

主

备

主 备 主 备 主 备 主 备

中间件

小集群

小集群

小集群

小集群

聚合库

分析库

一站式，高可靠，高弹性，低成本

多组件，低可