阿里云分布式RDS平台.docxVIP

阿里云分布式RDS平台

柳彦召@阿里云

DRDS简介

?阿里云分布式RDS平台（DRDS）是基于RDS的面向海量数据和高效访问的通用存储解决方案。

?核心价值

–为用户提供透明的分库支持

–自动化扩容，用户根据业务需求按需添加或者删除结点，由平台负责数据的均衡

–MySQL协议的兼容性，使基于MySQL的单库业务可以平滑的迁移到多库上

?应用场景

–Scaleup，新一型新二型新三型…

–Scaleout，突破容量限制以及tps限制

–优先scaleup，切勿过度设计

系统起源

?脱胎于Alibaba的Cobar分布式数据库引擎

?吸收了淘宝TDDL分布式数据库引擎的优秀经验和部分解决方案

?针对外部应用特色进行了部分优化开发

–NIO异步执行器，有效隔离不同用户之间的影响，极大的提升了系统在复杂环境下的稳定性

–更完善的跨库查询支持

–全自动扩容，扩容全部通过web完成

–高效的管理，数据库运维操作完全通过web完成

系统架构—外部

DRDSWebConsoleMySQLprotocolDRDSDRDSDRDSApplication

DRDSWebConsole

MySQLprotocol

DRDS

DRDS

DRDS

Application

MySQLprotocol

RDS

RDSRDSRDS

RDS

RDS

RDS

RDS

系统架构—内部

Sharding实现

?拆分字段，表以那个字段的值作为分库标准

?分布式策略

–Hash策略，热点，无法指定结点

–List策略，配合Hash策略使用

–Range策略，历史数据

?表与策略：多对一

查询—SQLparser

?MySQL5.5fullsupportSelectid,member_idfromwp_imagewheremember_id

?MySQL5.5fullsupport

SQLParser

performancejavacc或者antlr

performance

javacc或者antlr

?Visitor模式，便于AST处理

select

select

exprList=from

exprList

=

from

idmember_idmember_id‘123’

id

member_id

member_id

‘123’

wp_image

wp_image

（id)subQueryorder

（id)subQuery

orderby、limit等跨库查询

?支持min、max、sum、avg等跨库统计

?暂不支持跨库的join以及子查询

查询—Optimizer

Mergeavgselectavg(id)fromA

Mergeavg

selectavg(id)fromA

?支持groupby、

avg(id)

Q1:selectQ2:select

Querysum(id),count(id)fromAQuery

Query

sum(id),count(

id)fromA

Query

sum(id),count(

id)fromA

Query

sum(id),count(

id)fromA

count(id),sum(id)A_0count(id),sum(id)A_1count(id),sum(id)A_2

查询—执行器.流式

RDSSelect*fromtlimit10offset10000orderbyid

RDS

?挑战

–Server的压力，内存？

–如何应对大数据量查询？

–跨库的排序放在什么地方?应对

–offloading

–流程化处理，防止内存爆满

RDS

PacketOrderedasneeded

Packet

Packet

DRDS

Y多库!

Y

多库

Merge

N

R↓WWQ查询

R

↓

W

W

Q

?挑战

–如何防止因底层RDS原因导致的雪崩？

–如何应对耗时较长的SQL？

–如何应对短连接?应对

–异步化处理，连接与线程剥离，防止Hang

–底层RDS连接采用连接池的方式

INOUT

IN

Handler

Handler

Session

Executor

Executor

R

W

Q

w

IN↓OUT

FC

BC

查询—流程总结

?单库查询