CN119598509A 基于拆分学习的私有化大模型微调训练方法和装置 （杭州高新区(滨江)区块链与数据安全研究院）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119598509A

(43)申请公布日2025.03.11

(21)申请号202411650255.2

(22)申请日2024.11.19

(71)申请人杭州高新区（滨江）区块链与数据安全研究院

地址310051浙江省杭州市滨江区物联网

孵化器大楼2号楼A楼4-7层申请人浙江大学

(72)发明人刘子涵汪睿伍赛唐秀

杨智慧袁巩生姚畅

(74)专利代理机构华进联合专利商标代理有限

公司44224

专利代理师李素英

(51)Int.Cl.

G06F21/62(2013.01)

H04L9/00(2022.01)

G06N3/0455(2023.01)

G06N3/084(2023.01)

G06N3/0499(2023.01)

G06F18/214(2023.01)

权利要求书3页说明书14页附图5页

(54)发明名称

基于拆分学习的私有化大模型微调训练方

法和装置

(57)摘要

CN119598509A本申请涉及一种基于拆分学习的私有化大模型微调训练方法和装置，其中，该方法包括：将预训练的大模型拆分成头部模型段、中间模型段以及尾部模型段；将原始数据拆分成隐私数据和非隐私数据；根据隐私数据和非隐私数据，协同训练客户端中的头部