CN119829964A 基于多轮对话的智能体评测方法、装置、电子设备及介质 （贝壳找房(北京)科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119829964A

(43)申请公布日2025.04.15

(21)申请号202411880274.4

(22)申请日2024.12.19

(71)申请人贝壳找房（北京）科技有限公司

地址100080北京市海淀区创业路2号1幢1

层102室

(72)发明人席兴旺

(74)专利代理机构北京路浩知识产权代理有限

公司11002

专利代理师江康宁

(51)Int.Cl.

G06F18/21(2023.01)

G06F18/214(2023.01)

G06F16/3329(2025.01)

G06N3/006(2023.01)

权利要求书2页说明书9页附图3页

(54)发明名称

基于多轮对话的智能体评测方法、装置、电

子设备及介质

(57)摘要

CN119829964A本发明提供一种基于多轮对话的智能体评测方法、装置、电子设备及介质，其中的方法包括：构建仅包含输入样本一输出样本对的评测样本集；基于对抗智能体，根据评测样本集中的输入样本，模拟用户对待评测智能体进行提问；基于裁判智能体，根据提问问题和对应的提问结果，以及输入样本对应的输出样本，确定当前轮对话的反馈结果；根据当前对话轮次及对应的反馈结果，确定待评测智能体的评测结果。该方法通过引入对抗智能体模拟用户对待评