CN119294444A 基于云边协同的Transformer大模型训练方法 （国能数智科技开发(北京)有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119294444A(43)申请公布日2025.01.10

(21)申请号202411813151.9

(22)申请日2024.12.11

GO6N5/04(2023.01)

GO6F11/30(2006.01)

GO6F21/60(2013.01)

(71)申请人国能数智科技开发(北京)有限公司

地址100000北京市海淀区西三旗建材城

中路10号四层

(72)发明人官锋杨淑琴张栋周智强

(74)专利代理机构合肥北极牛知识产权代理事务所(特殊普通合伙)34239

专利代理师杨磊

(51)Int.CI.

3/0455(2023.01)

3/0455(2023.01)9/50(2006.01)

3/082(2023.01)

3/092(2023.01)

3/098(2023.01)

GO6F

GO6NGO6N

GO6N

权利要求书5页说明书13页附图2页

(54)发明名称

收集边缘设备的实时数据、云端历史数据第三方数据源和用户生成的数据对数据进行预处理

收集边缘设备的实时数据、云端历史数据第三方数据源和用户生成的数据

对数据进行预处理

包括数据清洗、数据增强和标准化

使用数据并行策略对数据集进行分割并分配到云端服务器和边缘设备

在分布式训练过程中，实时监控计算资源和网络状况动态调整数据分配策略

采用多智能体A3C算法结合多臂老虎机策略，实时调整Transformer模型的分层结构

设计轻量级模型，通过模型剪枝和量化优化在边缘设备上进行部分推理任务

采用联邦学习策略，边缘节点独立训练本地模型，并上传更新到云端进行聚合

利用异构计算资源进行硬件加速

优化不同任务在异构硬件平台上的执行效率

(57)摘要

119294444A本发明公开了基于云边协同的Transformer大模型训练方法，包括如下步骤：S1、构建数据集；S2、对数据集进行预处理；S3、使用数据并行策略对预处理后的数据集进行分割，结合数据并行和模型并行技术进行分布式训练；S4、实时监控边缘设备和云端服务器的计算资源和网络状况，动态调整数据分配策略，优化计算负载分布；S5、采用多智能体优势演员-评论家算法结合多臂老虎机策略，实时调整Transformer模型的分层结构；S6、在边缘设备上结合边缘推理能力进行部分模型推理任务；S7、采用联邦学习策略，并利用差分隐私技术保护数据隐私；S8、利用异构

119294444A

CN算和智能调度方法，实现了高效隐私保护的大模型训练和推理。

CN

CN119294444A权利要求书1/5页

2

1.基于云边协同的Transformer大模型训练方法，其特征在于，包括如下步骤：

S1、收集边缘设备的实时采集数据、云端存储的历史数据、第三方数据源和用户生成的数据，构建数据集；

S2、对数据集进行预处理，包括数据清洗、数据增强和标准化；

S3、使用数据并行策略对预处理后的数据集进行分割，并分配到云端服务器和边缘设备，结合数据并行和模型并行技术进行分布式训练；

S4、在分布式训练过程中，实时监控边缘设备和云端服务器的计算资源和网络状况，动态调整数据分配策略，优化计算负载分布；

S5、采用多智能体优势演员-评论家算法结合多臂老虎机策略，根据系统负载、带宽和能耗数据，实时调整Transformer模型的分层结构；

S6、设计模型剪枝和量化优化轻量级模型，在边缘设备上结合边缘推理能力进行部分模型推理任务；

S7、采用联邦学习策略，各边缘节点独立训练本地模型，周期性地将模型更新上传至云端，云端服务器对模型更新进行聚合，并利用差分隐私技术保护数据隐私；

S8、利用异构计算资源进行硬件加速，优化不同任务在异构硬件平台上的执行效率，支持多Transformer模型的协同训练。

2.根据权利要求1所述的基于云边协同的Transformer大模型训练方法，其特征在于，所述S3具体包括：

S31、将预处理后的数据集D分割成多个子数据集Di,其中i∈{1,2,…,m},m表示数据集的分割数量，每个子数据集D?包括多个数据样本((Xi,j,yi,j),其中Cij表示第i个子数据集的第j个输入数据，Yi,j表示第i个子数据集的第j个输入数据的标签；