1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 外语学习
  5. 英语词汇

深度学习及其应用课件 7 注意力机制.pptxVIP

  • 0
  • 0
  • 约1.47万字
  • 约 10页
  • 2026-02-02 发布于山东
  • 举报

深度学习及其应用课件 7 注意力机制.pptx

    注意力机制

    目录

    自注意力

    缩放点积注意力步幅注意力

    固定分解注意力时序注意力

    加性注意力

    通道注意力

    空间注意力

    滑动窗口注意力交叉注意力

    1

    自注意力（Self-Attention）实际

    上是一种常用的注意力机制，不同的是自注意力不使用外部信息，而是仅从内部提取相关信息。在传统注意力机制中，训练源端与目标端的词之间的依赖关系。而自注意力机制的注意力则发生在源端内部元素之间或目标端的元素之间。自注意力机制的结构如右图所示。

    自注意力

    2

    d

    假设一系列输入单词经过词嵌入后，生成词向量x1,x2,x3,x4，接着使用各个词向量xi分别与权重矩阵wq、wk以及

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >