CN117668153B 大模型在线推理与训练一体化方法及系统 （吴东）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN117668153B(45)授权公告日2025.07.01

(21)申请号202311340706.8

(22)申请日2023.10.16

(65)同一申请的已公布的文献号申请公布号CN117668153A

(43)申请公布日2024.03.08

(73)专利权人吴东

地址100085北京市海淀区上地十街辉煌

国际大厦2号楼1210

(72)发明人吴东

(74)专利代理机构北京市鼎立东审知识产权代理有限公司11751

专利代理师陈佳妹

(51)Int.CI.

GO6F16/334(2025.01)

GO6F16/3329(2025.01)

GO6N5/04(2023.01)

GO6N5/01(2023.01)

(56)对比文件

CN116303949A,2023.06.23CN111160568A,2020.05.15

CN116861259A,2023.10.10审查员徐彬

权利要求书2页说明书8页附图3页

(54)发明名称

大模型在线推理与训练一体化方法及系统

(57)摘要

CN117668153B本申请涉及一种大模型在线推理与训练一体化方法及装置，该方法包括接收用户输入数据并输入微调模型，得到模型回复结果；判断模型回复结果是否存在纠正情况；在存在纠正情况时，将相应的用户输入数据和模型回复结果存入消息中间件；获取消息中间件的训练数据，并利用在线SFT和RLHF分别对微调模型进行监督微调及强化训练，得到符合预设要求的微调模型。本申请通过将用户输入数据和微调模型的回复结果存入消息中间件，借此充分利用推理过程中的前向过程向量和用户反馈，从而实现重复利用的目的，有效的解决每次模型迭代都需要人工启动

CN117668153B

接收用户输入数据并输入微调模型，得到模型

接收用户输入数据并输入微调模型，得到模型回复结果；

判断模型回复结果是否存在纠正情况；

在存在纠正情况时，将相应的用户输入数据和模型回复结果存入消息中间件；

获取消息中间件的训练数据，并利用在线SFT和RLHF分别对微调模型进行监督微调及强化训练,得到符合预设要求的微调模型。

S100

S200

-S300

S400

CN117668153B权利要求书1/2页

2

1.一种大模型在线推理与训练一体化方法，其特征在于，包括如下步骤：

接收用户输入数据并输入微调模型，得到模型回复结果；

判断所述模型回复结果是否存在纠正情况；

在存在所述纠正情况时，将相应的所述用户输入数据和所述模型回复结果存入消息中间件；

获取所述消息中间件的训练数据，并利用在线SFT和RLHF分别对所述微调模型进行监督微调及强化训练，得到符合预设要求的所述微调模型；

在对微调模型进行在线训练之前，实时监听消息中间件中的消息数量，当存在纠正语义的消息数量达到预设训练批次大小时，一次性提取数据开始在线训练流程。

2.根据权利要求1所述的大模型在线推理与训练一体化方法，其特征在于，所述接收用户输入数据并输入微调模型，得到模型回复结果，包括：

接受用户输入指令和文本；

将所述用户输入指令和文本输入所述微调模型进行多轮对话，得到相应的模型回复结果；

其中，所述微调模型能够部署对话任务。

3.根据权利要求1所述的大模型在线推理与训练一体化方法，其特征在于，在利用在线SFT对所述微调模型进行监督微调时，所述在线SFT的训练数据包括SFT数据和预先标注的监督训练数据；

其中，所述SFT数据基于所述用户输入指令文本和所述模型回复结果中对应的纠正语义组合得到。

4.根据权利要求1所述的大模型在线推理与训练一体化方法，其特征在于，在利用RLHF对所述微调模型进行强化训练时，包括：

获取奖励模型训练数据；

基于所述奖励模型训练数据对奖励模型进行训练，更新所述奖励模型；

利用所述奖励模型对所述模型回复结果打分，强化训练所述微调模型。

5.根据权利要求4所述的大模型在线推理与训练一体化方法，其特征在于，所述奖励模型训练数据基于所述用户输入数据，以及所述模型回复结果中的chosen回复和rejected回复组建得到。

6.根据权利要求4所述的大模型在线推理与训练一体化方法，其特征在于，在获取奖励模型训练数据后，还包括：

对所述微调模型进行文本分布约束，提高所述奖励模型