1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种基于MAE的预训练方法.pdfVIP

  • 32
  • 0
  • 约7.44千字
  • 约 6页
  • 2023-08-23 发布于四川
  • 举报

一种基于MAE的预训练方法.pdf

    本发明公开一种基于MAE的预训练方法，具体包括如下步骤：获取训练集图片；利用改进的MAE算法对训练集图片进行两阶段的掩码处理；将经过掩码的图片输入预训练模型以获取特征；特征经过预训练模型最终输出补全掩码后的图片。本发明提出了对MAE非监督预训练算法的改进，改进后的MAE算法能够在支持金字塔结构的swin预训练模型上进行非监督训练，训练所需要的显存从100G以上降至20G，在双卡机器上就可以支持训练，有效节省了大量显存，使一般的机器资源进行大规模的预训练任务成为可能，有效提升了计算资源的利用空间。

    (19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116630732 A (43)申请公布日 2023.08.22 (21)申请号 202211701826.1 (22)申请日 2022.12.29 (71)申请人 新大陆数字技术股份有限公司 地址

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >