第7章：微调模型评估体系与对齐技术（DPORLHF）.pptxVIP

第7章微调模型评估体系与对齐技术DPO/RLHF原理精讲与实战大模型全栈工程师（微调+RAG+部署）实战课程CURRENTCHAPTER第07章

本章内容概览01.模型评估体系建立多维评估指标，学习如何科学、量化地衡量模型的“对齐”效果，为后续优化提供依据。02.RLHF原理精讲拆解“奖励模型”与“强化学习”两大核心步骤，掌握如何通过人类反馈三步教会模型“人类价值观”。03.DPO原理精讲解析直接偏好优化技术的数学原理，理解如何跳过“奖励模型”中间商，更高效地直接优化模型偏好。04.实战与问题解决基于真实数据集的上手案例演示，配合对齐训练中常见的梯度爆炸、模式崩溃等问题的排查与实操。

PART01模型评估体系——如何衡量“对齐”效果？在进行模型对齐之前，我们必须建立一套科学的评估体系来衡量对齐的效果。主流的评估方法主要包含以下三种维度。客观评测集

ObjectiveEval核心方法：使用包含标准答案的高质量数据集，对模型输出进行自动化的指标计算与比对。显著优点：评估结果客观、可复现，且易于实现流程自动化。主要局限：数据集覆盖范围有限，难以衡量“自然度”等软性指标。主观盲测

SubjectiveEval核心方法：邀请专业人类评估员，在“双盲”状态下对模型输出进行多维度的人工打分。显著优点：评估维度最全面，结果最贴近真实用户的实际交互感受。主要局限：