大语言模型通识 课件 第13章 大模型的评估.pptx

;;大语言模型飞速发展，在自然语言处理研究和人们的日常生活中扮演着越来越重要的角色。因此，如何评估大模型变得愈发关键。我们需要在技术和任务层面对大模型之间的优劣加以判断，也需要在社会层面对大模型可能带来的潜在风险进行评估。

大模型与以往仅能完成单一任务的自然语言处理算法不同，它可以通过单一模型执行多种复杂的自然语言处理任务。因此，之前针对单一任务的自然语言处理算法评估方法并不适用于大模型的评估。如何构建大模型评估体系和评估方法是一个重要的研究问题。;;PART01;模型评估，也称模型评价，是在模型开发完成之后的一个必不可少的步骤，其目的是评估模型在新数据上的泛化能力和预测准确性，以便更好地了解模型在真实场景中的表现。;针对单一任务的自然语言处理算法，通常需要构造独立于训练数据的评估数据集，使用合适的评估函数对模型在实际应用中的效果进行预测。由于并不能完整了解数据的真实分布，因此简单地采用与训练数据独立同分布的方法构造的评估数据集，在很多情况下并不能完整地反映模型的真实情况。如果不能获取数据的真实分布，或者测试数据采样不够充分，分类器在真实使用中的效果就不能很好地进行评估。;在模型评估的过程中，通常会使用一系列评估指标来衡量模型的表现，如准确率、精确率、召回率、ROC曲线和AUC（ROC曲线下的面积）等。这些指标根据具体的任务和应用场景可能会有所不同。例如，在分类任务中，常用的评估指标包括准确率、精确率、召回率等；而在回归任务中，常用的评估指标包括均方误差和平均绝对误差等。对于文本生成类任务（例如机器翻译、文本摘要等），自动评估仍然是亟待解决的问题。;文本生成类任务的评估难点主要源于语言的灵活性和多样性，例如同样一句话可以有多种表述方法。对文本生成类任务进行评估，可以采用人工评估和半自动评估方法。以机器翻译评估为例，人工评估虽然相对准确，但是成本高昂。如果采用半自动评估方法，利用人工给定的标准翻译结果和评估函数可以快速高效地给出评估结果，但是其结果的一致性还亟待提升。对于用词差别很大，但是语义相同的句子的判断本身也是自然语言处理领域的难题。如何有效地评估文本生成类任务的结果仍面临着极大的挑战。;模型评估还涉及选择合适的评估数据集，针对单一任务，可以将数据集划分为训练集、验证集和测试集。评估数据集和训练数据集应该相互独立，以避免数据泄露的问题。此外，数据集选择还需要具有代表性，应该能够很好地代表模型在实际应用中可能遇到的数据。这意味着它应该涵盖各种情况和样本，以便模型在各种情况下都能表现良好。评估数据集的规模也应该足够大，以充分评估模型的性能。此外，评估数据集中应该包含特殊情况的样本，以确保模型在处理异常或边缘情况时仍具有良好的性能。;大模型可以在单一模型中完成自然语言理解、逻辑推理、自然语言生成、多语言处理等任务。此外，由于大模型本身涉及语言模型训练、有监督微调、强化学习等多个阶段，每个阶段所产出的模型目标并不相同，因此，对于不同阶段的大模型也需要采用不同的评估体系和方法，并且对于不同阶段的模型应该独立进行评估。;;传统的自然语言处理算法通常需要针对不同任务独立设计和训练。而大模型则不同，它采用单一模型，却能够执行多种复杂的自然语言处理任务。例如，同一个大模型可以用于机器翻译、文本摘要、情感分析、对话生成等多个任务。因此，在大模型评估中，首先需要解决的就是构建评估体系的问题。从整体上可以将大模型评估分为三个大的方面：知识与能力、伦理与安全，以及垂直领域评估。;大模型具有丰富的知识和解决多种任务的能力，包括自然语言理解（例如文本分类、信息抽取、情感分析、语义匹配等）、知识问答（例如阅读理解、开放领域问答等）、自然语言生成（例如机器翻译、文本摘要、文本创作等）、逻辑推理（例如数学解题、文本蕴含）、代码生成等。知识与能力评估体系主要可以分为两大类：一类是以任务为核心的评估体系；一类是以人为核心的评估体系。;1．以任务为核心的评估体系

一个执行运维任务的自动化平台HELM构造了42类评估场景。基于以下三个方面将场景进行分类。

（1）任务（例如问答、摘要），用于描述评估的功能。

（2）领域（例如百度百科2018年的数据集），用于描述评估哪种类型的数据。

（3）语言或语言变体（例如西班牙语）。;领域是区分文本内容的重要维度，HELM根据以下三个方面对领域进行进一步细分。

（1）文本属性（What）：文本的类型，涵盖主题和领域的差异，例如百度百科、新闻、社交媒体、科学论文、小说等。

（2）时间属性（When）：文本的创作时间，例如1980年代、互联网之前、现代等。

（3）人口属性（Who）：创造数据的人或数据涉及的人，例如黑人/白人、男人/女人、儿童/老人等。;领域还包含创建地点（如国家）、创建方式（如手写、打字、从语音或手语转录）、创建