《大语言模型原理与应用》 课件 第4章 大语言模型微调技术.pptxVIP

大语言模型的微调与优化

目录

01为什么需要微调

03微调工具介绍

05实验

02微调的两种方式

04动手实践一个微调模型

为什么需要微调

01

微调目标

大语言模型微调旨在将通用预训练模型转化为特定任务定制化模型，提升模型质量并适应特定任务需求。

03

成本降低

微调减少资源消耗，降低应用成本，使模型在资源受限场景中更具可行性。

02

数据隐私保护

微调通过避免原始数据暴露,有效保护数据隐私，确保模型应用的安全性。

目标意义

微调基本流程

大语言模型微调基本流程包括数据准备、模型选择、微调方法选择及训练优化，通过在特定任务数据上再训练，提升模型性能，满足不同应用场景需求

训练优化

训练优化涉及设置关键超参数如学习率、批量大小和训练轮数，通过监控运行结果调整参数，确保微调过程高效且可复现，提升模型性能。

数据准备

数据准备是微调的关键步骤，需对数据集进行清洗、过滤、分割和格式化处理，生成符合要求的训练集、验证集和测试集，确保数据质量和一致性。

基本流程

LoRA微调

LoRA微调引入低秩矩阵，减少参数量，降低计算成本，适合资源受限场景，但复杂任务中性能上限受限。

Adapter微调

Adapter微调插入小型适配器网络，高效灵活，避免灾难性遗忘，适用于资源受限