家庭环境通用人工智能视觉心智能力测试结果示例.docxVIP

家庭环境通用人工智能视觉心智能力测试结果示例

测试任务

针对表1中的3个二级能力维度（“客体属性及关系理解”、“视觉语言联合解译”、“视觉常识理解”），选择8个家庭环境测试任务，分别是整理行李箱、整理桌面、拼图、搭建积木、物品分类计数、打扫房间、理解按钮功能、挑选礼物。

具体来说，整理行李箱、整理桌面、拼图、搭建积木这4个任务对应“客体属性及关系理解”维度；物品分类计数、打扫房间这2个任务对应“视觉语言联合解译”维度；理解按钮功能、挑选礼物对应“视觉常识理解”维度。基于测试引擎-1开发了虚拟测试场景，支撑上述8个家庭任务的测试。测试场景如下：

图A.1测试任务场景示意图

针对每一项测试任务，检查所采用的虚拟测试环境是否能够正常启动，导入智能体，完成正常的数据交换。并且按照6.2中要求，对所采用的测试环境进行检查。如通过检查，则进入下一步测试。

测试结果

实验中接入2款多模态大模型：实验多模态大模型-1（简称为大模型1）、实验多模态大模型-2（简称为大模型2）。模型在各项测试任务中的原始得分如下表所示（百分制）。可以根据公式1，进一步计算均值和标准差，从而得到“任务泛化能力”指标的分数。当γ=1，大模型1的“任务泛化能力”得分为0.172，而大模型2的得分为0.108。

表A.1模型测试结果

模型

整理行李箱

理解按钮功能

整理桌面

挑选礼物

物品分类计数

搭建积木

打扫房间

拼图

大模型1

55%

40%

30%

29%

33%

13%

24%

15%

大模型2

5%

33%

13%

34%

27%

20%

15%

16%