CN119829946A 大语言模型价值对齐方法及装置 （人民网股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119829946A

(43)申请公布日2025.04.15

(21)申请号202411903284.5

(22)申请日2024.12.23

(71)申请人人民网股份有限公司

地址100026北京市西城区新街口外大街

28号B座234号

(72)发明人刘毅郭俊波李君祝铭烨张勇东

(74)专利代理机构北京市浩天知识产权代理事务所(普通合伙)11276

专利代理师陈翠

(51)Int.Cl.

G06F18/20(2023.01)

G06F18/214(2023.01)

G06N3/045(2023.01)

G06N3/0475(2023.01)

G06N5/04(2023.01)

G06N3/092(2023.01)

权利要求书2页说明书11页附图3页

(54)发明名称

大语言模型价值对齐方法及装置

(57)摘要

CN119829946A本申请实施例公开了一种大语言模型价值对齐方法，包括：获取多个问题查询文本及对应的候选答案池；确定候选答案池中各候选答案的奖励得分，生成训练样本数据集；确定各候选答案的回答概率，根据多个候选答案的回答概率及奖励得分计算各问题查询文本的第一奖励期望，根据所有第一奖励期望计算所有问题查询文本的第二奖励期望；根