1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 汽车/机械/制造
  5. 机械/模具设计

剪枝LLaMA：结构化剪枝加速语言模型预训练.pdfVIP

  • 0
  • 0
  • 约14.19万字
  • 约 40页
  • 2026-11-12 发布于北京
  • 举报

剪枝LLaMA：结构化剪枝加速语言模型预训练.pdf

    预印本。

    剪切的L：通过结构化剪枝加速语言模型预训练

    11∗1

    ,,，

    12

    普林斯顿大学计算机科学系及普林斯顿语言与智能计

    算机科学与技术系{mengzhou,tianyug,danqic@

    zengzy20@

    3

    2L（Touvron等人，2023a；b）和其他出现的中型大规模语言模型

    0（LLMs）的流行性突显了构建更小但同样强大的LLMs的可能性。尽管如此，

    2

    从头开始在数个标记上训练这些模型的成本仍然很高。在这项工作中，我

    t

    c们研究了结构化剪枝作为一种有效的方法来从预先训练的较大模型中开发出较

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >