大模型面试题-30-如何使用 PEFT库 中 LoRA？.pdf

如何使用PEFT库中LoRA？

来自：AiGC面试宝典

宁静致远2024年01月28日10:12

•如何使用PEFT库中LoRA？

•一、前言

•二、如何配置LoraConfig？

•三、模型加入PEFT策略

•3.1模型加载策略有哪些？

•3.2模型显存占用的部分有哪些？

•3.3模型显存占用优化策略？

•3.3.18bit量化优化策略？

•3.3.2梯度检查优化策略？

•3.4如何向模型加入PEFT策略？

•四、PEFT库中LoRA模块代码介绍

•4.1PEFT库中LoRA模块整体实现思路

•4.2PEFT库中LoRA模块_find_and_replace()实现思路

•4.3PEFT库中Lora层的实现思路

•4.3.1基类LoraLayer实现

•4.3.2Linear实现

•五、使用LoRA对大模型进行高效参数微调，如何进行存储？

•六、使用LoRA对大模型进行推理，如何进行加载？

•七、huggingface大模型如何加载多个LoRA并随时切换？

•参考

一、前言

本文章主要介绍使用LoRA对大模型进行高效参数微调，涉及内容：

1.PEFT库中LoRA模块使用；

2.PEFT库中LoRA模块代码介绍；

3.在推理时如何先进行weight的合并在加载模型进行推理；

涉及框架

#以下配置可能会随时间变化，出了问题就去issue里面刨吧

#要相信你不是唯一一个大冤种！

accelerate

appdirs

loralib

bitsandbytes

black

black[jupyter]

datasets

fire

transformers4.28.0

git+/huggingface/peft.git

sentencepiece

gradio

wandb

cpm-kernel

二、如何配置LoraConfig？

#设置超参数及配置

LORA_R=8

LORA_ALPHA=16

LORA_DROPOUT=0.05

TARGET_MODULES=[

q_proj,

v_proj,

]

config=LoraConfig(

r=LORA_R,

lora_alpha=LORA_ALPHA,

target_modules=TARGET_MODULES,

lora_dropout=LORA_DROPOUT,

biasnone,

task_typeCAUSAL_LM,

)

•参数介绍：

•r：lora的秩，矩阵A和矩阵B相连接的宽度，rd；

•lora_alpha：归一化超参数，lora参数ΔWx被以α/r归一化，以便减少改变rrr时需要重新训练的计算

量；

•target_modules：lora的目标位置；

•merge_weights:eval模式中，是否将lora矩阵的值加到原有W0的值上;

•lora_dropout：lora层的dropout比率；

•fan_in_fan_out：只有应用在Conv1D层时置为True，其他情况False；

•bias:是否可训练bia