神经网络与深度学习 课件 第9章-注意力机制与Transformer.pptx

神经网络与深度学习

第9章注意力机制与Transformer9.1深度学习中的注意力机制9.1.1注意力9.1.2序列到序列模型9.1.3Bahdanau注意力机制9.1.4通用注意力机制9.2利用带注意力的序列到序列模型实现机器翻译9.3Transformer9.3.1自注意力机制9.3.2多头注意力机制9.3.3位置编码9.3.4Transformer的结构9.4利用Transformer实现单词预测9.5视觉Transformer

9.1注意力机制注意力心理学认为，注意力是指人的心理活动指向和集中于某种事物的能力，具体而言，就是大脑选择信息、放大信息、引导信