1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种基于神经聚类方法的近似注意力系统及方法.pdfVIP

  • 1
  • 0
  • 约1.74万字
  • 约 14页
  • 2023-04-23 发布于北京
  • 举报

一种基于神经聚类方法的近似注意力系统及方法.pdf

    本发明公开了一种基于神经聚类方法的近似注意力系统及方法,该系统包括基于神经聚类方法的词向量聚类模块，基于神经聚类方法的近似注意力模块，注意力输出模块；所述词向量聚类模块使用神经聚类方法将词向量进行聚类并对质心向量进行更新；所述近似注意力模块通过将词向量用相应质心向量代替去近似全局注意力机制，并通过公式化简达到提升模型效率(时间和显存)的效果；注意力输出模块结合残差结构以及标准化操作，对词向量的最终表示和质心向量的最终表示作进一步的处理，以提高模型的性能；本发明克服了基于自注意力机制的Transf

    (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113988002 A (43)申请公布日 2022.01.28 (21)申请号 202111344579.X G06N 3/04 (2006.01)

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >