基于向量随机矩阵自适应：VeRA.pdfVIP

VERA:基于向量的随机矩阵自适应

DawidJ.Kopiczko∗†TijmenBlankevoort高YukiM.AsanoQUVA实

QUVA阿姆斯通AI研究1验室阿姆斯特丹大学

特丹大学

3低秩自适应（LoRA）是一种流行的方法，用于在微调大型语言模型时减少可

2

0训练参数的数量，但在扩展到更大模型或部署多个用户特定或任务特定的自适

2应模型时仍严重的。在这项工作中，我们提出了Vector‑based

tRandomMatrixAdaptation（VeRA），与LoRA相比，它将可训练参数数

c

O量减少了10倍，同时保持了相同的性能。通过在所有层对低秩矩阵并

7学的缩放向量来实现这一点。我们在GLUE和E2E基准上展示了其有效性，

1