大模型评测工程师考试试卷及答案.docVIP

大模型评测工程师考试试卷及答案

大模型评测工程师考试试卷及答案

一、填空题（共10题，每题1分）

1.用于评估机器翻译结果与参考译文相似度的指标是______。

2.大模型评测中，衡量输入理解准确性的维度是______。

3.评估生成内容是否符合伦理规范的维度是______。

4.困惑度（Perplexity）越低，模型对文本的______能力越强。

5.针对特定任务的测试集通常称为______。

6.人工评测中常用的打分方法是______评分法。

7.多轮对话评测需关注对话的______性。

8.检查生成内容事实错误的维度是______。

9.评估代码生成正确性的指标是______率。

10.大模型评测的两个主要方向是自动评测和______评测。

答案：1.BLEU2.准确性3.安全性4.预测5.任务数据集6.Likert7.连贯8.真实性9.通过10.人工

二、单项选择题（共10题，每题2分）

1.评估生成文本多样性的指标是（）

A.BLEUB.ROUGEC.Distinct-1D.Perplexity

2.安全性评测不包括（）

A.恶意内容生成B.隐私泄露C.训练速度D.偏见歧视

3.减少人工评测偏差的方法是（）

A.单评制B.多评制C.随机评制D.专家评制

4.属于自动评测的是（）

A.人工打分B.规则检查C.用户调研D.焦点小组

5.问答任务中衡量答案完全正确的指标是（）