Mozi数据库配置存储方案设计目标及调整方案.pdfVIP

Mozi数据库配置方案

设计目标

1.使用Mysql数据库配置，替换Kafka。

2.将Kafka中的数据平滑迁移到Mysql中。

3.不影响对外接口，业务感知。

整体设计方案

为了实现替换，需要对现有系统结构做一些调整，并将Kafkabackend和其他功能剥离：

1.保留从Kafka生成Globalversion，将Globalversion的生成逻辑从backend中剥离。

2.将Cachebackend和Kafkabackend剥离，保留Cachebackend，将Kafkabackend作为Cachebackend的realbackend，可以灵活替换。

3.Schema从Redis迁移到Mysql，Redis只作为缓存使用。

4.新增DatabaseBackend，支持从Kafkabackend切换到Databasebackend。

改造后的系统如下：

设计方案

Mozi数据库配置方案

设计目标

1。使用mysql数据库配置，替换kafka。kafka中

2。的数据平滑迁移到mysql中。，业务感知。业务

3。感知。

整体设计方案整体设计

方案

为了实现替换，需要对现有系统结构做一些调整，并将kafka后端：

1。保留从kafka生成全局版本，将全局版本的生成逻辑从后端中剥离。缓存后端和kafkabackend剥离，保留缓存后端，将kafka

2。backend作为kafkabackend作为cachebacktendfackbacktend的realbacktis，可以灵活替换。数据后端，支持从kafka

3。

4。kafkabackasebackasebackase后端切换到数据库后端。数据库后端。

改造后的系统如下：

设计方案设

计方案

备注：数据库是否需要分表，需要先做容量预估，上图不包含分表设计

数据迁移方案

为了实现不停机无损迁移，迁移步骤分为以下几步进行：

1、首次升级时，需要考虑新老版本同时存在的情况，所以需要设置一个初始化标记，在全部升级到新版本，再打开该标记开始进行迁移初始化。

2、迁移初始化任务检查初始化标记，如果可以开始初始化，首先将Kafka中所有的topic写入redishash表，读写需要检查该表，如果存在，说明数据在

kafka，如果不存在，说明数据在DB。为了保证redis中保存所有topic，在初始化的时候需要阻塞写操作，初始化流程如图：