DiffLoRA: 大型语言模型的差分低秩适配器.pdfVIP

DiffLoRA:大型语言模型的差分低秩适配器

AlexandreMisrahi1*NadezhdaChirkova2MaximeLouis2VassilinaNikoulina2

EPFLNAVERLABSEurope

alexandre.misrahi@epfl.ch,vassilina.nikoulina@

摘要同时，最近的架构创新如差分变换器(Ye

etal.,2024)已经解决了众所周知的关注陷阱问

微分变换器最近被提出，通过使用去噪注

题(Xiaoetal.,2024)。差分变换器引入了一种差

本意力机制消除噪声来提高变换器模型的性异注意力机制（DiffAttn），该机制增强了对重

译能。在这项工作中，我们介绍了DiffLoR