大语言模型技术与应用 第9课强化学习方法-第10课提示工程与技术课件.pptx

大语言模型技术与应用;;通过有监督微调，大语言模型初步具备了遵循人类指令完成各类型任务的能力。然而，有监督微调需要大量指令和对应的高质量的标准回复，因此会耗费许多人力和时间成本。由于有监督微调通常目标是调整参数使模型输出与标准答案完全相同，不能从整体上对模型输出质量进行判断，因此，模型不能适应自然语言的多样性，也不能解决微小变化的敏感性问题。;强化学习则将模型输出文本作为一个整体进行考虑，其优化目标是使模型生成高质量回复。此外，强化学习方法不依赖人工回复，其模型根据指令生成回复，奖励模型针对所生成的回复给出质量判断。强化学习的模型通过生成回复并接收反馈进行学习，可以生成多个答案，奖励模型对输出