CN120085812B 一种基于大数据的光纤数据储存管理系统及方法 （深圳鑫振华光电科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN120085812B(45)授权公告日2025.07.08

(21)申请号202510559566.6

(22)申请日2025.04.30

(65)同一申请的已公布的文献号申请公布号CN120085812A

(43)申请公布日2025.06.03

(73)专利权人深圳鑫振华光电科技有限公司地址518000广东省深圳市龙华区观澜街

道库坑社区同富裕工业区28号华朗嘉工业园2号502

(72)发明人荣明娟张晓飞马书广

GO6N3/0442(2023.01)

GO6F16/13(2019.01)

GO6F18/21(2023.01)

GO6F18/241(2023.01)

(56)对比文件

CN119883580A,2025.04.25CN118915978A,2024.11.08审查员马桂新

(74)专利代理机构广东贝澳知识产权代理有限

公司441248专利代理师李干

(51)Int.CI.

GO6F3/06(2006.01)权利要求书3页说明书13页附图2页

(54)发明名称

一种基于大数据的光纤数据储存管理系统及方法

(57)摘要

CN120085812B本发明公开了一种基于大数据的光纤数据储存管理系统及方法，涉及存储管理技术领域。该一种基于大数据的光纤数据储存管理系统及方法，通过LSTM网络提取历史访问记录的时空特征，结合时间衰减函数计算数据热度值，生成数据区块的热力分布图。基于热力分布图谱，利用深度强化学习算法构建存储资源分配模型，动态调整光路优先级和副本分布。通过时空联合索引和向量相似性索引优化数据预取策略，生成高频数据缓存索引分布图。综合考虑数据访问延迟、索引命中率和副本迁移频率，获取光纤存储效率指数，依据该指数调整存储策略。该方法有效提高了数据存储资源的动态调度与利用效率，减少

CN120085812B

数据访问分析模块

数据访问分析模块

数据调度模块

索引优化模块

存储效率评估模块

CN120085812B权利要求书1/3页

2

1.一种基于大数据的光纤数据储存管理系统，其特征在于，包括以下模块：数据访问分析模块、数据调度模块、索引优化模块、存储效率评估模块；

所述数据访问分析模块用于通过LSTM网络提取光纤存储系统历史访问记录的时空特征，结合时间衰减函数计算数据热度值，生成标识高频与低频数据区块的热力分布图谱；

所述数据调度模块用于根据热力分布图谱，通过深度强化学习算法构建存储资源分配模型，定义带宽利用率、节点负载率及预测访问量为状态空间参数，输出光路优先级矩阵与副本分布拓扑指令，并通过滑动窗口机制监测数据流波动，触发高频数据迁移至低负载节点；

所述索引优化模块用于基于热力分布图谱与副本分布拓扑指令，构建结构化数据的时空联合索引与非结构化数据的向量相似性索引，并根据数据热度值优化预取策略，生成高频数据缓存索引分布图；

所述存储效率评估模块用于综合数据访问延迟、索引命中率及副本迁移频率，获取光纤存储效率指数，当光纤存储效率指数低于预设阈值时，生成结构优化指令集反馈至数据调度模块与索引优化模块；

通过LSTM网络提取光纤存储系统历史访问记录的时空特征，结合时间衰减函数计算数据热度值的具体过程如下：

对历史访问记录进行时空编码，提取时间戳、地理坐标及并发请求量，构建时空特征向量；

通过双向LSTM网络建模时间维度特征，捕捉数据访问的周期性规律，同时通过卷积网络提取空间维度特征；

将时空特征输入时空注意力机制，动态分配时间衰减权重，生成时空关联权重矩阵；

将时空关联权重矩阵输入时间衰减函数，按时间远近动态衰减历史数据影响，对衰减后数据归一化处理，生成全局可比的数据热度值。

2.根据权利要求1所述的一种基于大数据的光纤数据储存管理系统，其特征在于：生成标识高频与低频数据区块的热力分布图谱的具体过程如下：

基于数据热度值对存储空间进行地理网格划分，通过地理哈希编码将访问位置映射为层级化空间网格；

通过密度聚类算法识别高频访问网格簇，合并相邻高密