CN118747211B 一种大模型智能体评测方法和装置 （北京面壁智能科技有限责任公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN118747211B

(45)授权公告日2025.01.10

(21)申请号202411035908.6

(22)申请日2024.07.30

(65)同一申请的已公布的文献号申请公布号CN118747211A

(43)申请公布日2024.10.08

(73)专利权人北京面壁智能科技有限责任公司地址100080北京市海淀区中关村东路1号

院6号楼6层601

(72)发明人翟忠武胡月鹏

(74)专利代理机构北京科衡知识产权代理有限公司11928

专利代理师王淑静

(51)Int.CI.

GO6N5/04(2023.01)

GO6F16/3329(2025.01)

(56)对比文件

CN117350325

CN118093824

审查员王杏锋

权利要求书2页

A,2024.01.05

A,2024.05.28

说明书8页附图2页

(54)发明名称

一种大模型智能体评测方法和装置

(57)摘要

CN118747211B本发明实施例公开一种大模型智能体评测方法和装置，涉及人工智能技术领域。为在AI模拟人的风格化方面进行相对准确的评测而发明。该方法包括：生成预设人物的AI智能体；获取所述预设人物已往的发言背景信息和发言内容信息；其中，所述发言内容信息包括所述预设人物对给定问题的回答内容；根据所述发言背景信息和发言内容信息，生成评测集；根据所述评测集测试所述AI智能体，得到所述AI智能体对给定问题的回答内容；对比预设人物和AI智能体对给定问题的回答内容，并对AI智能体的回答内容中的回答用语和回答风格进行评分，以标识AI智能体

CN118747211B

生成预设人物的

生成预设人物的AI智能体

获取所述预设人物已往的发言背景信息和发言内容信

息；其中，所述发言内容信息包括所述预设人物对给

定问题的回答内容

根据所述发言背景信息和发言内容信息，生成评测集

根据所述评测集测试所述AI智能体，得到所述AI智能体对给定问题的回答内容

对比所述预设人物和所述Al智能体对给定问题的回答

内容，并对所述AI智能体的回答内容中的回答用语和

回答风格进行评分，以标识所述AI智能体和所述预设

人物在回答用语和回答风格上发言的相似度

S1

S4

S5

CN118747211B权利要求书1/2页

2

1.一种大模型智能体评测方法，其特征在于，所述方法包括：

生成预设人物的AI智能体；

获取所述预设人物已往的发言背景信息和发言内容信息；其中，所述发言内容信息包括所述预设人物对给定问题的回答内容；

根据所述发言背景信息和发言内容信息，生成评测集；

根据所述评测集测试所述AI智能体，得到所述AI智能体对给定问题的回答内容；

所述根据所述评测集测试所述AI智能体，得到所述AI智能体对给定问题的回答内容，包括：

按照所述给定问题的类型、给定问题的提问对象、给定问题的提问时间和给定问题的提问场合分别对给定问题进行分类；

根据不同分类下的给定问题对所述AI智能体进行提问，得到所述AI智能体对所述不同分类下的给定问题的回答内容，所述回答内容包括回答用语和回答风格；

对比所述预设人物和所述AI智能体对给定问题的回答内容，并对所述AI智能体的回答内容中的回答用语和回答风格进行评分，以标识所述AI智能体和所述预设人物在回答用语和回答风格上发言的相似度。

2.根据权利要求1所述的大模型智能体评测方法，其特征在于，所述生成预设人物的AI智能体，包括：

获取预设人物的客观背景信息和发言信息；其中，所述客观背景信息包括所述预设人物的学科水平信息，所述发言信息包括所述发言背景信息和所述发言内容信息；

根据所述客观背景信息和发言信息生成预设人物的AI智能体。

3.根据权利要求1或2所述的大模型智能体评测方法，其特征在于，所述发言背景信息包括给定问题、给定问题的类型、给定问题的提问对象、给定问题的提问时间和给定问题的提问场合。

4.根据权利要求1所述的大模型智能体评测方法，其特征在于，所述给定问题的类型包括决策类给定问题；

所述根据所述评测集测试所述AI智能体，得到所述AI智能体对给定问题的回答内容，包括：

根据所述决策类给定问题对所述AI智能体进行提问，得到所述AI智能体对所述决策类给定问题的回答内容；

所述对比所述预设人物和所述AI智能体对给定问题的回答内容，并对所述AI智能体的