1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种基于注意力特征信息的BERT模型融合方法.pdfVIP

  • 3
  • 0
  • 约8.09千字
  • 约 6页
  • 2023-05-11 发布于四川
  • 举报

一种基于注意力特征信息的BERT模型融合方法.pdf

    本发明公开了一种基于注意力特征信息的BERT模型融合方法，该方法利用每个原模型对输入文本的隐藏表示信息，来计算每个原模型的权重，然后利用每个原模型的权重信息，对原模型的注意力特征信息进行加权融合，最后利用融合后的注意力特征信息对新模型进行调整，提高新模型的表现效果。该方法可以充分利用BERT模型的注意力特征信息，提高融合后BERT模型的表现效果。相比于其他融合方法，本方法可以有效地完善融合后模型的注意力特征信息，使得融合后的模型对文本的注意力特征更加完整，进而提高融合后模型的表现效果。

    (19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 114580660 A (43)申请公布日 2022.06.03 (21)申请号 202210176600.8 (22)申请日 2022.02.25 (71)申请人 浙江大学 地址 310058 浙江

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >