CN119598147A 模型置信度的评价方法、装置、设备、介质及程序产品 （北京金山云网络技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119598147A

(43)申请公布日2025.03.11

(21)申请号202411658596.4

(22)申请日2024.11.19

(71)申请人北京金山云网络技术有限公司

地址100085北京市海淀区西二旗中路33

号院5号楼9层101号

(72)发明人陈凯

(74)专利代理机构北京开阳星知识产权代理有限公司11710

专利代理师张子青

(51)Int.Cl.

G06F18/21(2023.01)

G06F18/22(2023.01)

权利要求书2页说明书10页附图5页

(54)发明名称

模型置信度的评价方法、装置、设备、介质及

程序产品

(57)摘要

CN119598147A本公开涉及计算机技术领域，尤其涉及一种模型置信度的评价方法、装置、设备、介质及程序产品，方法包括：获取信息评测集；将信息评测集中的测试题分别输入第一模型和第二模型，得到第一模型输出的待评测答案和第二模型输出的参考答案；将参考答案和信息评测集中测试题的标准答案输入预训练的评价模型，输出参考答案与标准答案之间的第一偏差信息；当基于第一偏差信息确定测试题和标准答案满足预设的置信条件时，将待评测答案与标准答案输入评价模型，输出待评测答案与标准答案之间的第二偏差信息；根据第二偏差信息生成第一