1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种参数高效的大规模预训练模型迁移方法.pdfVIP

  • 3
  • 0
  • 约9.12千字
  • 约 7页
  • 2023-09-16 发布于四川
  • 举报

一种参数高效的大规模预训练模型迁移方法.pdf

    一种参数高效的大规模预训练模型迁移方法，涉及大规模预训练模型。基于Transformer的大规模预训练模型，优化用于建立自注意力机制的提示向量，在注意力模块中插入提示学习逼近模块和经过扩展的自注意力模块，以降低提示学习带来的额外计算开销，提升信息扩散的效率。1)将提示学习逼近模块插入到Transformer模型的注意力机制中，并添加任务关联的分类器；2)在下游任务上进行微调，实现参数高效的大规模预训练模型的迁移。不仅实现更加高效的输入序列间关系建立，同时允许额外的提示向量遵循新的模式建立与输入序

    (19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116757248 A (43)申请公布日 2023.09.15 (21)申请号 202310758646.5 (22)申请日 2023.06.26 (71)申请人 厦门大学

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >