大模型技术进阶：评估方法与Transformer架构.pdfVIP

大语言模型（LLM）基础

一、大模型评估

BLEU、ROUGE都能够从某侧面评估大模型的质量，但是都不全面。BLEU、ROUGE受表达及排

列顺序的影响较大，对不一致但语义高度相似的文本评估时可能会产生重大偏差。

如果多次评估都动用人力甚至领域专家，评估成本太高。

一个通用方法是使用大模型进行初步评估，将确定性结果排出后，不确定的部分由人工检查。

大模型评估的方法参加下面的提示词

你是位语言分析专家，分析下面的【例句】和【例句】是否相似，并给出相似性分数。相似性分数从0到

9，相似性越高，分数越接近9，相似性越低，分数越接近0。只允许输出相似性分数，不允许输出其他任何文

本。

【例句】

Itisanicedaytoday

【例句】

Theweatherislovelythisafternoon

你是位语言分析专家，分析下面的【例句】和【例句】是否相似，并给出相似性分数。相似性分数从0到

9，相似性越高，分数越接近9，相似性越低，分数越接近0。只允许输出相似性分数，不允许输出其他任何文

本。

【例句】

Itisanicedaytoday

【例句】

Itis