注意力机制54课件讲解.pptxVIP

注意力机制

01了解注意力机制的核心思想02理解注意力机制原理学习目标

我们是如何“注意”的？当我们看一幅图，并不会平均的处理所有信息。我们第一眼应该是看到一只动物，然后，眼睛会先注意到动物的脸，然后得出初步结论，这应该是一只狼；就像右边注意力图所示，颜色更深的部分表示一般是我们人类最先看见（注意）的在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息

注意力机制的来源与思想来源现代意义上的自注意力机制首次出现在2017年的论文《AttentionisAllYouNeed》中，该论文由GoogleBrain团队提出核心