CN120234140A 一种数据分片存储索引优化方法及系统 （贵州电网有限责任公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120234140A(43)申请公布日2025.07.01

(21)申请号202510101984.0GO6F11/34(2006.01)

(22)申请日2025.01.22

(71)申请人贵州电网有限责任公司

地址550002贵州省贵阳市南明区滨河路

17号

(72)发明人董若烟田钺缪新萍朱昌会吴漾李文科田昌源林昌志黄笠煌汪浩王益彰姚舜

孙收余

(74)专利代理机构南京禹为知识产权代理事务所(特殊普通合伙)32272

专利代理师马千里

(51)Int.CI.

GO6F9/50(2006.01)

GO6F3/06(2006.01)

权利要求书2页说明书7页附图1页

(54)发明名称

一种数据分片存储索引优化方法及系统

(57)摘要

CN120234140A本发明公开了一种数据分片存储索引优化方法及系统，涉及数据分片存储技术领域，包括根据数据访问模式和短期波动的特性，确定观察时间段；监测数据性能，进行日志数据分析；进行数据资源调整，并调整任务分配。本发明所述方法通过高效地管理和调整数据加载，提高了系统的用户体验和可靠性，凸显了基于观察时间段的动态数据管理方法的重要性，通过动态阈值的设定，能够在负载过高时及时识别出热点分片，从而采取有效措施，有助于减少系统资源的浪费，提高资源的使用效率，能够在不干扰主线程的情况下完成数据操作，不仅提高了数据传输的效率

CN120234140A

根据数据访问模式和短期波动的特性，确定观

根据数据访问模式和短期波动的特性，确定观察时间段

S2

监测数据性能，进行日志数据分析

进行数据资源调整，并调整任务分配

CN120234140A权利要求书1/2页

2

1.一种数据分片存储索引优化方法，其特征在于，包括：

根据数据访问模式和短期波动的特性，确定观察时间段；

监测数据性能，进行日志数据分析；

进行数据资源调整，并调整任务分配。

2.如权利要求1所述的数据分片存储索引优化方法，其特征在于：所述确定观察时间段包括当热点分片的负载超过设定的阈值时，触发数据迁移操作；

当热点分片与冷点分片的负载差异达到一定比例时，触发数据迁移操作；

各个分片节点收集关键性能指标数据，包括查询请求数量、查询响应时间、CPU使用率、内存占用率、磁盘I/0操作次数和磁盘I/O的等待时间；

去除异常值和错误数据包括系统波动产生的临时网络故障、系统故障及突发因素，根据网络日志报告、设计阈值、平均值方法进行去除。

3.如权利要求2所述的数据分片存储索引优化方法，其特征在于：所述确定观察时间段还包括整理归化数值，确定时间t,对于短期波动，时间段取值相对较短，通过分析当前时间段取值的性能数据，捕捉突发的高负载情况；

连续收集性能数据包括查询请求数量、响应时间、资源利用率的指标，分析数据在不同时间段的分布情况，确定是否存在周期性或趋势性，当数据访问模式不稳定时，确定是否存在较大的随机性或周期性变化不明显，是否需要继续保持较长的观察时间段；

当确定需要进行数据迁移或资源调整操作时，避开数据的访问高峰，选择相对较短的时间段进行集中迁移和调整操作；

基于系统恢复时间，确认在业务再次繁忙之前，系统有足够的时间完成数据迁移、索引重建及资源重新平衡的操作，并恢复到正常性能水平。

4.如权利要求3所述的数据分片存储索引优化方法，其特征在于：所述监测数据性能包括确定时间段后，计算性能指标数据的加权移动平均数E,表示为：

E=a×x+(1-a)×Et-1

其中，x,为时间的实际性能指标值，α为平滑系数，通过调整α的值，控制历史数据和当前数据对基础值计算的影响程度，α越大，对短期波动越敏感，Et-1表示前一个时刻的平滑值，用于计算当前平滑值的历史数据；

计算数据标准差SD,表示为：

其中，n表示数据的总数，i=1表示求和的起始索引，x;表示第i个数据点，E为样本的期望值；

根据业务需求和对系统稳定性的要求，设定倍数因子k,计算动态阈值DT,表示为：

DT=E+k×SD

当实际性能指标值超过动态阈值时，表示分片处于热点状态，当实际性能指标值低于动态阈值时，表示分片处于冷点状态。

5.如权利要求4所述的数