大模型效果评测专员岗位技能考试试卷及答案.docVIP

  • 0
  • 0
  • 约2.92千字
  • 约 5页
  • 2026-11-21 发布于山东
  • 举报

大模型效果评测专员岗位技能考试试卷及答案.doc

大模型效果评测专员岗位技能考试试卷及答案

填空题(共10题,每题1分)

1.大模型生成与事实不符的内容问题被称为______。

2.用于衡量文本生成质量的BLEU指标主要适用于______类任务的评测。

3.大模型效果评测中,区分客观事实错误的评测维度属于______维度。

4.评估模型输出指令遵循度的核心指标是______。

5.大模型评测中,保证样本覆盖不同领域、难度的方法是______。

6.衡量模型生成文本流畅性的经典指标是______。

7.大模型幻觉问题分为事实幻觉和______幻觉两类。

8.评测模型代码生成正确性的常用指标是______。

9.大模型效果评测中,避免过拟合测试样本的关键是设置______。

10.评估模型多轮对话连贯性的核心维度是______。

填空题答案

1.幻觉

2.机器翻译

3.事实准确性

4.指令跟随率

5.分层抽样

6.困惑度

7.内容创作

8.Pass@k

9.训练测试集划分

10.上下文一致性

单项选择题(共10题,每题2分)

1.以下不属于大模型效果评测核心维度的是()

A.事实准确性B.生成速度C.指令跟随D.流畅性

2.大模型评测样本收集优先选择的是()

A.模型训练过的领域样本B.未训练的长尾领域样本C.随机通用样本D.仅简单任务样本

3.衡量模型指令跟随错误的类型不包括()

A.指令遗漏B.指令误解C.格式错误D.幻觉错误

4

文档评论(0)

1亿VIP精品文档

相关文档