1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 工业设计

大模型蒸馏实战：LoRA微调技术详解与应用.pdf

大模型蒸馏实战：LoRA微调技术详解与应用.pdf

    第三章【掌握】模型训练

    1、学习目标

    训练模型重点：

    训练方式、基座模型、工具

    2、LoRA微调

    2.1什么是LoRA微调

    LoRA微调的全称是Low-RankAdaptation，这种方法通过引入低秩矩阵分解，可以通过仅训练少量

    参数实现大模型的适配。

    2.2全参数微调的

    全参数微调有几个重大的

    2.2.1训练成本高

    全参数微调，需要更新千亿甚至级别的参数，会消耗大量计算资源，为了调整海量参数时不跑

    偏，还需要准备相当规模的数据集，费时费力。

    2.2.2训练时间长

    全参数微调训练时

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >