《大模型技术深度解析》微课版 任飞亮教材 ppt课件 3.3大模型评价.pptxVIP

大模型评价

主要内容一、大模型评价的介绍二、知识与能力三、对齐评估四、安全性评估五、领域内LLM评估六、大模型评估的Benchmarks

一、大模型评价的介绍NLP任务评估的三个阶段早期评估集中在句法分析、词义消歧等任务上。进而扩展到使用特定的基准如SQuAD等，使用特定的指标，评估模型在特定任务中的表现。预训练语言模型阶段，针对如BERT等的通用模型，制定许多的任务，并汇总其在不同任务上的分数，进而衡量模型的整体性能。如SemEval、SuperGLUE。大模型阶段，评估从以任务为中心转向以能力为中心评估。下游任务分界线开始模糊，评估基准氛围也开始扩大。

一、大模型评价的介绍大模型评估的两个