1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 计算机
  5. windows相关

DoRA：一种基于权重分解高效微调方法.pdfVIP

  • 1
  • 0
  • 约2.49千字
  • 约 3页
  • 2026-05-13 发布于北京
  • 举报

DoRA：一种基于权重分解高效微调方法.pdf

    ⼤家好,今天向⼤家推荐⼀篇在ICML2024的研究论⽂。这篇论⽂提出了⼀种新

    的参数⾼效微调⽅法DoRA(Weight-DecomposedLow-RankAdaptation)。「DoRA

    通过将预训练权重分解为幅值和⽅向两个部分进⾏微调,利⽤LoRA⾼效地更新⽅向部分,

    在保持LoRA推理效率的同时提⾼了LoRA的学习能⼒和训练稳定性」。实验表明,DoRA在

    各类下游任务(如推理、视觉指令微调以及图像/

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >