CN116821126B 基于多阶段动态迁移的键值对存储方法、控制器及系统 （华中科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN116821126B(45)授权公告日2025.07.01

(21)申请号202310703337.8

(22)申请日2023.06.14

(65)同一申请的已公布的文献号申请公布号CN116821126A

(43)申请公布日2023.09.29

(73)专利权人华中科技大学

地址430074湖北省武汉市洪山区珞喻路

1037号

(72)发明人曹强卢子奕

(74)专利代理机构华中科技大学专利中心

42201

专利代理师夏倩李智

(51)Int.CI.

GO6F16/22(2019.01)

GO6F16/2458(2019.01)

GO6F16/2457(2019.01)

GO6F16/2455(2019.01)

GO6F16/23(2019.01)

(56)对比文件

CN115544003A,2022.12.30CN114218272A,2022.03.22

审查员邓清清

权利要求书3页说明书9页附图4页

(54)发明名称

基于多阶段动态迁移的键值对存储方法、控制器及系统

(57)摘要

CN116821126B本发明公开了基于多阶段动态迁移的键值对存储方法、控制器及系统，属于键值对存储领域，包括：构建三个用于存储和索引键值对数据的阶段，并提出相应的阶段间迁移机制；快速存储阶段将键值对数据以日志形式快速存储在持久外存上，并在内存中建立并发索引；中间存储阶段将快速存储阶段键值对索引和数据存储到索引树中，每个索引树包括存放于内存的键范围索引、存放于持久外存的持久索引块和持久数据块；稳定存储阶段将中间存储阶段的多个索引树合并到一个索引树中；系统运行过程中会根据负载特征等信息调节数据迁移的强度。本发明能够动态调节键值对请求处理速度和内存占用的平

CN116821126B

系统管理模块

系统管理模块

读请求

旧志序计数器

易失键值对索引

键值对数据键值对数据键值对数据键值对数据

日志日志日麦

数据迁移模块

引树*引树

中间存

储阶段

素引树合并模块

索引树

易失键范围索引

持久索引块

持久数[据块

写请求用户请求处理模块

持久索引块

持久数[据块

持久索引块

持久数据块

持久索引块

持久数

稳定存!储阶段

快速存储阶段

CN116821126B权利要求书1/3页

2

1.一种基于多阶段动态迁移的键值对存储方法，其特征在于，包括：

快速存储阶段：接收到用户线程提交的写请求后，将待写入的键值对数据连同用于表示其写入顺序的日志序号写入持久外存上的键值对日志，并将该键值对的键和存储地址作为索引数据写入内存中的键值对索引；

中间存储阶段：当快速存储阶段存储的数据量达到预设的阈值a时，将当前快速存储阶段存储的键值对数据迁移至一个索引树中，并清理快速存储阶段当前的键值对日志和键值对索引；所述索引树包括内存中的键范围索引，以及持久外存上的持久索引块和持久数据块；所述持久数据块用于存储有序的键值对数据，持久数据块的键范围互不重叠；所述持久索引块用于按键的顺序存储一个或多个持久数据块的最小键及存储地址，索引块索引的键范围互不重叠；所述键范围索引用于存储各持久索引块的键范围及存储地址；

稳定存储阶段：当中间存储阶段的索引树数量达到用户设定的阈值b时，读取所述中间存储阶段的一个或多个索引树，将这些索引树存储的键值对数据合并到稳定存储阶段原有的索引树中，并清除中间存储阶段中被读取的索引树。

2.如权利要求1所述的基于多阶段动态迁移的键值对存储方法，其特征在于，所述中间存储阶段中，将当前快速存储阶段存储的键值对数据迁移至一个索引树中，包括如下步骤：

(S1)遍历快速存储阶段的键值对索引以得到以键顺序排列的键值对在键值对日志中的地址；

(S2)根据键值对在键值对日志中的地址依次读取对应的日志记录，获得按键顺序排列的键值对数据；

(S3)利用步骤(S2)获得的按键顺序排列的键值对数据在持久外存上构建持久数据块，并在持久外存上构建相应的持久索引；

(S4)在内存中创建一个键范围索引，并将步骤(S3)创建的持久索引块的键范围及存储地址按键的范围记录到所创建的键范围索引中，完成快速存储阶段存储的键值对数据至中间存储阶段中一个索引树的迁移。