2026年大模型评估指标体系专项试题及答案.docxVIP

2026年大模型评估指标体系专项试题及答案

1.单项选择题（每题2分，共20分）

1.1在BERTScore中，对参考文本与生成文本进行上下文嵌入后，计算相似度的核心度量是

A.Jaccard系数?B.余弦相似度?C.欧氏距离?D.KL散度

答案：B

1.2大模型在“知识截止”测试中的FactualAccuracy通常采用下列哪一指标

A.ROUGE-L?B.BLEURT?C.Exact-Match?D.BERT-F1

答案：C

1.3当使用人类偏好排序训练奖励模型时，下列损失函数中最常被采用的是

A.MSE?B.Cross-Entropy?C.Bradley-Terry负对数似然?D.HingeLoss

答案：C

1.4衡量模型输出平均token长度的指标是

A.CompressionRatio?B.LengthRatio?C.RepetitionRate?D.Burstiness

答案：B

1.5在Long-Context评估中，若输入长度n=32k，模型需定位关键信息的位置误差用何指标

A.MeanReciprocalRank?B.TokenEditDistance?C.PassageRetrievalF1?D.Sliding-windowPerplexity

答案：A

1.6用于检测模型输出是否包