CN117573817B 模型训练方法、相关性确定方法、装置、设备及存储介质 （百度在线网络技术（北京）有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN117573817B(45)授权公告日2025.07.08

(21)申请号202311340353.1

(22)申请日2023.10.16

(65)同一申请的已公布的文献号申请公布号CN117573817A

(43)申请公布日2024.02.20

(73)专利权人百度在线网络技术(北京)有限公

司

地址100085北京市海淀区上地十街10号

百度大厦三层

(72)发明人崔自鑫叶超朱坤鸿殷硕

郭宗仁国智李双龙贺登武刘林

(74)专利代理机构北京品源专利代理有限公司

11332

专利代理师魏亚南

(51)Int.CI.

GO6F16/3329(2025.01)

GO6F16/334(2025.01)

GO6F16/35(2025.01)

GO6N3/0455(2023.01)

GO6N3/048(2023.01)

GO6N3/08(2023.01)

(56)对比文件

CN114780846A,2022.07.22CN113434763A,2021.09.24

审查员张雪柔

权利要求书4页说明书12页附图5页

(54)发明名称

模型训练方法、相关性确定方法、装置、设备及存储介质

(57)摘要

CN117573817B本公开提供了模型训练方法、相关性确定方法、装置、设备及存储介质，人工智能技术领域，尤其涉及智能搜索、深度学习、自然语言处理及大语言模型等技术领域。具体实现方案为：获取样本输入数据，样本输入数据包括样本查询词、样本搜索结果和标准相关性理由；将样本输入数据输入至预设相关性模型，预设相关性模型中包括大语言模型以及全连接层，根据全连接层的输出确定样本相关性分数，以及根据大语言模型的输出确定样本相关性理由；根据样本相关性分数、样本输入数据对应的样本标签、样本相关性理由以及标准相关性理由确定目标损失关系，并

CN117573817B

可解释性。

获取样本输入数据，其中，所述样本输入数据包括样本查询词、样

获取样本输入数据，其中，所述样本输入数据包括样本查询词、样

本搜索结果和标准相关性理由，所述样本输入数据对应有样本标

签，所述样本标签用于表示所述样本查询词和所述样本搜索结果的

标准相关性分数，所述标准相关性理由为所述标准相关性分数对应

的相关性理由

S102

将所述样本输入数据输入至预设相关性模型，其中，所述预设相关性模型中包括大语言模型以及与所述大语言模型相连的全连接层

S103

基于预设并发逻辑向至少两个计算节点分发所述至少两个子任务，

以指示所述至少两个计算节点针对所接收到的子任务对应的行范

围，进行相应的列拷贝操作

S104

根据所述样本相关性分数、所述样本输入数据对应的样本标签、所

述样本相关性理由以及所述标准相关性理由确定目标损失关系，并

基于所述目标损失关系对所述预设相关性模型进行训练

CN117573817B权利要求书1/4页

2

1.一种相关性模型的训练方法，包括：

获取样本输入数据，其中，所述样本输入数据包括样本查询词、样本搜索结果和标准相关性理由，所述样本输入数据对应有样本标签，所述样本标签用于表示所述样本查询词和所述样本搜索结果的标准相关性分数，所述标准相关性理由为所述标准相关性分数对应的相关性理由；

将所述样本输入数据输入至预设相关性模型，其中，所述预设相关性模型中包括大语言模型以及与所述大语言模型相连的全连接层；

根据所述全连接层的输出确定样本相关性分数，以及根据所述大语言模型的输出确定样本相关性理由；

根据所述样本相关性分数、所述样本输入数据对应的样本标签、所述样本相关性理由以及所述标准相关性理由确定目标损失关系，并基于所述目标损失关系对所述预设相关性模型进行训练；

所述样本输入数据还包括样本分类标记和样本掩码标记，所述样本分类标记关联有第一描述信息，所述第一描述信息用于提示输出所述样本查询词和所述样本搜索结果的相关性分数，所述第一描述信息位于所述样本输入数据中的样本分类标记之前，并与样本分类标记相邻；所述样本掩码标记关联有第二描述信息，所述第二描述信息用于提示输出所述样本查询词和所述样本搜索结果的相关性理由，所述第二描述信息位于所