CN120106210A 大模型评估方法、装置、设备、系统及程序产品 （科大讯飞股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120106210A

(43)申请公布日2025.06.06

(21)申请号202510042948.1

(22)申请日2025.01.10

(71)申请人科大讯飞股份有限公司

地址230088安徽省合肥市高新开发区望

江西路666号

(72)发明人丁昕昀房翔李亚刘权王士进刘聪胡国平

(74)专利代理机构北京布瑞知识产权代理有限

公司11505

专利代理师李强

(51)Int.Cl.

G06N5/04(2023.01)

G06F18/21(2023.01)

G06F18/25(2023.01)

G06N3/092(2023.01)

权利要求书3页说明书17页附图4页

(54)发明名称

大模型评估方法、装置、设备、系统及程序产

品

(57)摘要

CN120106210A本实施例提供了一种大模型评估方法，该方法通过获取通过目标大模型问答所得的对话数据；然后基于问答对话之间的跟随关系依次对问答对话进行指令抽取得到对话指令，并对对话指令进行打分得到第一得分；并提取问答对话对应的答案信息，并将答案信息与前序答案信息进行比对得到第二得分；且对答案信息进行回复质量评价，以得到第三得分；进而结合第一得分、第二得分以及第三得分得到目标得分，以通过