具身智能系统测评参数计算方法.pdfVIP

SJ/TXXXXX—XXXX

附录A

（规范性）

测评参数计算方法

A.1.1平均精度

式中：

AP—平均精度；

P(k)—前k个检测的准确率；

rel(k)—前k个检测的相对召回率；

TPN—总正例数。

A.1.2交并集精度

式中：

IoU—交并集精度；

IA—交集面积；

UA—并集面积。

A.1.3类别平均精度

式中：

mAP—类别平均精度；

C—类别的总数；

APi—第i个类别的平均精度。

A.1.4BLEU

式中：

—某一个n−gram在reference中的个数；

—n−gram′在candidate中的个数。

10

SJ/TXXXXX—XXXX

A.1.5CIDEr

式中：

CIDEr(g)——生成描述g的CIDEr得分；

g——模型生成的图像描述文本；

ri——第i个人工标注的参考图像描述；

m——参考描述的总数；

sim（g,ri)——生成描述g与第i个参考描述ri的n-gram相似度。

A.1.6FID

式中：

FID——弗雷歇inception距离；

μreal——真实数据特征的均值；

μgen——生成数据特征的均值；

Σreal——真实数据特征的协方差矩阵；

Σgen——生成数据特征的协方差矩阵；

TR——矩阵的迹。

A.1.7单词错误率

式中：

WER—单词错误率；

S—替换错误的数量；

D—删除错误的数量；

I—插入错误的数量；

N—参考文本中的总词数。

A.1.8SPICE

式中：

SPICE—语义命题图像评估得分；

N—图像的总数；

Mk—第k张图像生成描述中提取出的语义命题数量；

Lk—第k张图像参考描述中提取出的语义命题数量；

11

SJ/TXXXXX—XXXX

pk,i—第k张图像生成描述的第i个语义命题；

qk,j—第k张图像参考描述的第j个语义命题；

match(pk,i,qk,j)—生成语义命题pk,i与参考语义命题qk,j是否匹配。

A.1.9效率增益指标

式中

EI—效率增益指标；

L—平均步长；

Ls—单具身智能系统平均步长；

Lm—多具身智能系统平均步长。

A.1.10步长加权的成功率增益指标

对第i个任务，若期望的所有物体状态变化都完成了，则任务该任务执行成功，记，否则

。单具身智能系统情况下所需步长为，多具身智能系统情况下所需步长为，人类的

专家示例（单人）中所需步长为。该样本上步长加权的成功率为。则

个样本上的步长加权的成功率增益为

A.1.10准确率

式中：

TP—真正的正样例数量；

TN—真正的负样例数量；

FP—错误的正样例数量；

FN—错误的负样例数量。

A.1.11micro-F1

式中：

F1—F1分数；

Precision—精确率（模型预测为正例的结果中，真正为正例的比例）；

R