自然语言处理之本地⼤模型使⽤和⼤模型微调流程学习笔记.pdfVIP

day33-⾃然语⾔处理11

上课⽇期May12,2024

主要内容本地⼤模型使⽤，⼤模型微调流程，微调数据准备

主讲⽼师李晓华

复习May13,2024

课时6

重点内容导航：

1.Huggingface⼤模型规范与使⽤代码调⽤本地⼤模型的例⼦（上午

005900020000）

2.使⽤LLamaFactory框架对预训练⼤模型进⾏微调的流程演⽰（下午

002200〜010500）

3.使⽤OpenAI接⼝调⽤⼤模型023400030000

本次课程重点演⽰了本地⼤模型使⽤和微调的过程，重点参考李⽼师上课的

演⽰流程。

关键词：Huggingface,LLamaFactory,Lora,OpenAIAPI

1.资源站点

模型权重：modelscope

应⽤代码：github

2.下载模型

Base:Qwen1.50.5B

Chat:Qwen1.50.5BChat

3.开发范式

传统深度学习：

针对某个具体的问题

搭建针对性的模型

day33⾃然语⾔处理111

采集针对性的数据

训练模型

模型评估

模型部署

⼤模型时代：

1，预训练⼀个不针对任何任务的模型

⼤量的数据和时间

⾃监督学习

base底座⼤模型

2，SFT针对特定任务的微调

对⻬⼈类说话⻛格

对⻬⾏业知识

对⻬多轮对话

对⻬价值观/意识形态

3，RLHF基于⼈类反馈的强化学习

进⼀步做上述对⻬

4.⼤模型时代，开发者能⼲什么？

⼀句话：把公共⼤模型（⼤公司产品，开源⼤模型）变成私有（⾏业，领域，个

⼈）⼤模型

原因：

数据安全

⾏业知识

费⽤问题

系统集成

策略：

1，修改模型参数的：

PT

day33⾃然语⾔处理112

SFT

RLHF

知识注⼊进模型

2，不修改模型参数的：

RAG：检索-增强-⽣成

知识没有注⼊模型，作为⼀个外挂使⽤

丰富了问题的上下⽂

3，让⼤模型⼲⼀些超出⼈⼯智能范畴的事情

外挂外部⼯具

agent

5.如何微调⼤模型？

LLaMAFactory

训练阶段和具体的训练策略是两码事⼉

训练策略：

1，预训练