LLaMA-Factory 快速上手教程.docxVIP

LLaMA-Factory快速上手教程

1.项目背景

开源大模型如LLaMA，Qwen，Baichuan等主要都是使用通用数据进行训练而来，其对于不同下游的使用场景和垂直领域的效果有待进一步提升，衍生出了微调训练相关的需求，包含预训练（pt），指令微调（sft），基于人工反馈的对齐（rlhf）等全链路。但大模型训练对于显存和算力的要求较高，同时也需要下游开发者对大模型本身的技术有一定了解，具有一定的门槛。

LLaMA-Factory项目的目标是整合主流的各种高效训练微调技术，适配市场主流开源模型，形成一个功能丰富，适配性好的训练框架。项目提供了多个高层次抽象的调用接口，包含多阶段训练，推理测试，benchmark评测，APIServer等，使开发者开箱即用。同时借鉴StableDiffsionWebUI相关，本项目提供了基于gradio的网页版工作台，方便初学者可以迅速上手操作，开发出自己的第一个模型。

2.本教程目标

以Meta-Llama-3-8B-Instruct模型和Linux+RTX409024GB环境，LoRA+sft训练阶段为例子，帮助开发者迅速浏览和实践本项目会涉及到的常见若干个功能，包括

原始模型直接推理

自定义数据集构建

基于LoRA的sft指令微调

动态合并LoRA的推理

批量预测和训练效果评估

LoRA模型合并导出

一站式webuiboard的使用

APIServer的启动与调用

大模型主流评测benchmark

导出GGUF格式，使用Ollama推理

本教程大部分内容都可以通过LLaMA-Factory下的?README.md，data/README.md，examples文件夹下的示例脚本得到，遇到问题请先阅读项目原始相关资料。

关于全参训练，flash-attention加速,deepspeed，rlhf，多模态模型训练等更高阶feature的使用，后续会有额外的教程来介绍

3.?前置准备

训练顺利运行需要包含4个必备条件

机器本身的硬件和驱动支持（包含显卡驱动，网络环境等）

本项目及相关依赖的python库的正确安装（包含CUDA，Pytorch等）

目标训练模型文件的正确下载

训练数据集的正确构造和配置

3.1硬件环境校验

显卡驱动和CUDA的安装，网络教程很多，不在本教程范围以内

使用以下命令做最简单的校验

nvidia-smi

预期输出如图，显示GPU当前状态和配置信息

那多大的模型用什么训练方式需要多大的GPU呢，可参考?/hiyouga/LLaMA-Factory?tab=readme-ov-file#hardware-requirement

新手建议是3090和4090起步，可以比较容易地训练比较主流的入门级别大模型7B和8B版本。

3.2CUDA和Pytorch环境校验

请参考项目的readme进行安装

/hiyouga/LLaMA-Factory?tab=readme-ov-file#dependence-installation

2024年51期间系统版本有较大升级，2024-06-07号的安装版本命令如下，请注意conda环境的激活。

gitclone/hiyouga/LLaMA-Factory.git

下载miniconda

mkdir-p~/miniconda3

wget/miniconda/Miniconda3-latest-Linux-x86_64.sh-O~/miniconda3/miniconda.sh

bash~/miniconda3/miniconda.sh-b-u-p~/miniconda3

rm-rf~/miniconda3/miniconda.sh

~/miniconda3/bin/condainitbash

condacreate-nllama_factorypython=3.10

condaactivatellama_factory

cdLLaMA-Factory

pipinstall-e.[torch,metrics]-i/simple

上述的安装命令完成了如下几件事

新建一个LLaMA-Factory使用的python环境（可选）

安装LLaMA-Factory所需要的第三方基础库（requirements.txt包含的库）

安装评估指标所需要的库，包含nltk,jieba,rouge-chinese

安装LLaMA-Factory本身，然后在系统中生成一个命令llamafactory-cli（具体用法见下方教程）

安装后使用以下命令做简单的正确性校验

校验1

importtorch