CN119830350A 一种基于rlhf的大语言模型生成内容隐私保护的方法 （杭州电子科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119830350A

(43)申请公布日2025.04.15

(21)申请号202510300832.3

(22)申请日2025.03.14

(71)申请人杭州电子科技大学

地址310018浙江省杭州市钱塘区白杨街

道2号大街1158号

(72)发明人殷昱煜李重远李尤慧子袁俊峰梁婷婷李玉

(51)Int.Cl.

G06F21/62(2013.01)

G06F21/71(2013.01)

G06N3/0455(2023.01)

G06N3/092(2023.01)

G06N5/04(2023.01)

权利要求书3页说明书10页附图2页

(54)发明名称

一种基于RLHF的大语言模型生成内容隐私

保护的方法

(57)摘要

CN119830350A本发明公开了一种基于RLHF的大语言模型生成内容隐私保护的方法，包括以下步骤：基于有监督的指令微调训练基座模型作为指令微调模型；将原始的奖励模型拆解成效益模型和成本模型；扩展成本模型的偏好理解；基于包含多维评分和多维权重的数据集训练评分模型；基于加权分数与Bradley_Terry偏好模型改进传统偏好概率计算公式；通过多维分数与后悔理论构建人类隐私偏好概率计算方法；训练效益模型和成本模型；基于效益模型