NineData（叶正盛）：NineData数据复制技术原理与实践跨云10000公里实时数据复制.docxVIP

NineData数据复制技术原理与实践

跨云10000公里实时数据复制

演讲人：叶正盛

NineData创始人CEO

叶正盛

NineData创始人CEO

?资深数据库与云计算领域专家

?曾担任阿里云数据库产品管理与解决方案部总经理，阿里云技术架构与产品决策委

员会核心成员。

?阿里巴巴去IOE、异地多活、云计算多次技术变革核心成员

?构建阿里巴巴蚂蚁集团数据库DevOps体系

?创立了云计算数据传输DTS、数据管理DMS、数据库备份DBS、数据库自动驾驶服

务DAS等多款云计算数据库产品

3

目录

CONTENTS

?

数据库与数据复制简介数据复制场景与挑战

NineData架构与技术实践NineData实践案例

数据库与数据复制简介

5

数据库系统分类大图

强

强

OCEANBAS三

llclickHouseDr

llclickHouse

SQL

?elasticsearc

?elasticsearch

chroma

弱

弱

大小

大

数据库与生态产品

数据库DevOpsSQL

数据库DevOps

SQLIDE、CI/CD、性能优化、安全

NineData、Navicat、Yearning

数据迁移、同步、ETL、订阅、分享

DTS、NineData

数据库引擎

Oracle

MySQL

PolarDB

MongoDB

Clickhouse

…

BI数据分析、

BI

数据分析、挖掘、大屏

PowerBI、帆软

资源调度、安装配置、备份恢复、监控告警、HA

RDS

数据复制核心场景与挑战

8

数据复制场景

北京数据迁移上云、国产化、容灾/只读实例、ETL

北京

远距离实时数据传输(迁移/同步/备份)全球业务东数西算杭州

远距离实时数据传输

(迁移/同步/备份)

全球业务

东数西算

杭州

数据迁移、上云

IDC

云厂商数据库（兼容MySQL）

同版本、跨版本、远程网络不通、不停机迁移

ETL

OLTP-OLAP

转换映射过滤

转换映射过滤聚合

…

异构转换、远距离、实时同步

数据容灾、只读实例

北京（A云）本地异构实时复制

北京（A云）

本地异构实时复制

只读实例

远程实时复制

上海（B云）

容灾实例

挑战：异构转换、远距离、实时同步、跨云

数据库国产化

商业数据库国产数据库、开源数据库

应用适配数据迁移复制

应用适配

数据迁移复制

数据库引擎选型

数据复制挑战

云厂商往往“宽进严出”，对其他厂商的支

云厂商往往“宽进严出”，对其他厂商的支持不足或功能非常简单，不满足用户需求，特别是在网络互联及通信案例上鲜有考虑。

数据流动

数据复制高度依赖数据库的参数配置、用户权限、版本等因素，不同数据库类型还涉及到结构转换与数据类型转换，极容易出错。

面临多重困难

两端业务分别使用数据非常可能造成数据不一

两端业务分别使用数据非常可能造成数据不一致以及冲突从而导致数据链路中断，如何快速发现以及修复是数据复制必需要考虑的事情。

在跨地域或跨境同步时,会面临各种网络状况，如何保证长链路的情况下数据稳定同步是一个非常困难的问题。

市场主要技术产品优势与不足

市场技术产品

优势

不足

Kettle、DataX

全量数据复制

不支持DDL和实时复制

Canal

MySQL日志解析

不支持非MySQL数据库发展较慢

云DTS/DRS/DMS

重点支持自家数据库

IDC自建数据库、跨云、异构转换比较弱

GoldenGate

重点支持Oracle-Oracle

其他数据库较弱，贵

NineData数据复制：国产化、多云多源、实时、云原生

NineData设计架构

16

NineData云原生智能数据管理平台

数据开发BI开发业务运营应用开发者DBA系统管理

数据仓库/大数据平台数据复制SQLIDE结构迁移全量数据DDL同步数据对比断点续传增量数据ETL

数据仓库/大数据平台

数据复制

SQLIDE

结构迁移

全量数据DDL同步数据对比断点续传

增量数据

ETL

增量对比

可观测干预

应用消息队列

实时同步

结构对比

高性能

数据库DevOps

开