CN119719275A 一种检索增强生成应用的评估方法、装置、设备以及介质 （天翼云科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119719275A

(43)申请公布日2025.03.28

(21)申请号202411696312.0

(22)申请日2024.11.25

(71)申请人天翼云科技有限公司

地址100007北京市东城区青龙胡同甲1

号、3号2幢2层205-32室

(72)发明人罗刚

(74)专利代理机构北京润泽恒知识产权代理有限公司11319

专利代理师任亚娟

(51)Int.Cl.

G06F16/3329(2025.01)

G06F18/214(2023.01)

G06N5/025(2023.01)

G06N3/08(2023.01)

G06N3/09(2023.01)

权利要求书3页说明书14页附图2页

(54)发明名称

一种检索增强生成应用的评估方法、装置、

设备以及介质

(57)摘要

CN119719275A本申请实施例提供一种检索增强生成应用的评估方法、装置、设备以及介质，涉及人工智能领域，包括：将输入问题信息输入检索增强生成应用，生成输出答案信息；将输出答案信息以及输入问题信息输入评估模型，生成评估得分；评估模型按照如下方式进行训练：基于目标领域知识库，构建正确训练数据以及缺陷训练数据；基于正确训练数据以及缺陷训练数据，生成偏好训练数据；对第一大语言模型进