CN120234158A 一种基于大数据分布式计算的分类模型训练方法 （深圳市查策网络信息技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120234158A(43)申请公布日2025.07.01

(21)申请号202510716453.2

(22)申请日2025.05.30

(71)申请人深圳市查策网络信息技术有限公司地址518000广东省深圳市龙华区民治街

道北站社区鸿荣源北站中心B塔2309(数字创新中心)

(72)发明人王云丞兰林林正春彭勇建徐铁峰

(74)专利代理机构深圳市查策知识产权代理事务所(普通合伙)44527

专利代理师胡小登

(51)Int.CI.

GO6NGO6N

3/096(2023.01)

3/098(2023.01)

GO6F9/50(2006.01)

GO6N3/08(2023.01)

GO6N3/084(2023.01)

权利要求书2页说明书9页附图1页

(54)发明名称

一种基于大数据分布式计算的分类模型训

练方法

(57)摘要

CN120234158A本发明公开了一种基于大数据分布式计算的分类模型训练方法，涉及大数据处理与机器学习技术领域，所述方法包括S1、获取分布式计算节点间的通信延迟数据，并分析延迟特性以生成调控参数，S2、基于调控参数动态确定每个训练批次的批量大小，确保同步效率最优化，S3、将调整后的批量大小分配至各节点，执行模型前向与反向传播计算过程，S4、收集各节点计算结果进行参数聚合更新，完成分类模型的迭代训练；该基于大数据分布式计算的分类模型训练方法，根

CN120234158A

获取

分布式计算节点间的通信延迟数据，并分析延迟特性以生成调控参数

基于调控参数动态确定每个训练批次的批量大小，确保同步效率最优化

将调整后的批量大小分配至各节点，执行模型前向与反向传播计算过程

S1

S2

S3

收集各节点计算结果进行参数聚合更新，完成分类模型的

迭代训练S4

CN120234158A权利要求书1/2页

2

1.一种基于大数据分布式计算的分类模型训练方法，其特征在于，所述方法包括：

S1、获取分布式计算节点间的通信延迟数据，并分析延迟特性以生成调控参数，包括每隔固定时间采集各节点一次网络延迟数据，设定延迟阈值，将其中延迟小于阈值的样本时段累计为有效通信时间，计算每个节点的通信效率；

S2、基于调控参数动态确定每个训练批次的批量大小，确保同步效率最优化，包括根据每个节点通信效率计算出每个节点的实际训练批量大小，将非整数部分舍弃或补齐，调整结果写入分布式训练管理调度器，用于任务分发；

S3、将调整后的批量大小分配至各节点，执行模型前向与反向传播计算过程，包括收集每个节点的上一轮训练平均响应时间，计算当前批量任务对应的计算压力，根据当前批量任务对应的计算压力分配线程并发数、I/0等待队列长度；

S4、收集各节点计算结果进行参数聚合更新，完成分类模型的迭代训练，包括各节点上传本地模型参数副本，计算节点梯度波动率，再取其倒数定义为权重，聚合最终全局参数，将聚合后的模型更新参数同步至全部节点，开始下一轮迭代。

2.根据权利要求1所述的一种基于大数据分布式计算的分类模型训练方法，其特征在于：所述S1中计算每个节点的通信效率包括以固定时间间隔，依次从各个分布式计算节点收集一次网络通信延迟数据，在每个时间间隔内，对所有采集到的延迟样本进行判断，设定延迟阈值，筛选出小于设定阈值的样本，统计当前这一时间窗口的总观测时间，即从开始采集到结束所经历的总时间段，以有效通信时间除以总观测时间，得到节点的通信效率值，将通信效率值作为节点的通信调控参数。

3.根据权利要求1所述的一种基于大数据分布式计算的分类模型训练方法，其特征在于：所述S2中计算出每个节点的实际训练批量大小包括接收计算得到的各节点通信效率值，设定一个标准批量大小，作为初始训练任务量的参考基准，将每一节点的通信效率值作为权重，除以每一节点的通信效率值作为权重与一的和，再乘以标准批量大小，得到节点的初步训练批量大小。

4.根据权利要求1所述的一种基于大数据分布式计算的分类模型训练方法，其特征在于：所述S3中计算当前批量任务对应的计算压力具体包括收集每个分布式计算节点在上一轮训练中所经历的平均响应时间，结合节点当前被分配的训练批次任务的大小，与平均响应时间进行乘