人工智能基础与应用：深度学习(2)PPT教学课件.pptxVIP

深度学习（2）第7章

第7章深度学习（2）引言深度学习是机器学习领域一个新兴的研究方向，通过模仿人脑结构，实现对复杂输入数据的高效处理，智能地学习不同的知识，而且能够有效地解决多类复杂的智能问题。近年来，随着深度学习高效学习算法的出现，机器学习界掀起了研究深度学习理论及应用的热潮。实践表明，深度学习是一种高效的特征提取方法，能够提取数据中更加抽象的特征，实现对数据更本质的刻画，同时深层模型具有更强的建模和推广能力。

7.1注意力与记忆机制ONTENTSC内容大纲7.2自编码器7.3强化学习7.4对抗学习7.6小结与思考7.5联邦学习第7章深度学习（2）

7.1注意力与记忆机制ONTENTSC内容大纲7.2自编码器7.3强化学习7.4对抗学习7.6小结与思考7.5联邦学习第7章深度学习（2）

第7章深度学习（2）注意力与记忆机制概述人脑在有限的资源下，并不能同时处理过载的输入信息。但大脑神经系统有两个重要机制可以解决信息过载问题：注意力和记忆机制。我们还可以借鉴人脑解决信息过载的机制，从两方面来提高神经网络处理信息的能力。一方面是信息选择，通过自上而下的信息选择机制(即注意力)来过滤掉大量的无关信息；另一方面是优化神经网络的记忆结构，通过引入额外的外部记忆来提高神经网络存储信息的容量。

第7章深度学习（2）注意力与记忆机制注意力在计算能力有限情况下，注意力作为一种将计算资源分配给更重要的任务的资源分配方案，是解决信息超载问题的主要手段之一。在认知神经学中，注意力是一种人类不可或缺的复杂认知功能，指人可以在关注一些信息的同时忽略另一些信息的选择能力。在日常生活中，通过视觉、听觉、触觉等方式接收大量的感觉输入。但是在这些外界信息的轰炸中，人脑还可以有条不紊地工作，是因为人脑可以有意或无意地从这些大量输入信息中选择小部分的有用信息来重点处理，并忽略其他信息。这种能力就叫做注意力。注意力可以体现在外部的刺激(听觉、视觉、味觉等)，也可以体现在内部的意识(思考、回忆等)。

第7章深度学习（2）注意力与记忆机制注意力注意力一般分为两种：一种是自上而下的有意识的注意力，称为聚焦式注意力。另一种是自下而上的无意识的注意力，称为基于显著性的注意力。不管这些注意力是有意还是无意，大部分的人脑活动都需要依赖注意力，比如记忆信息，阅读或思考等。基于显著性的注意力。基于显著性的注意力是由外界刺激驱动的注意，不需要主动干预，也和任务无关。如果一个对象的刺激信息不同于其周围信息，门控机制就可以把注意力转向这个对象。聚焦式注意力是指有预定目的、依赖任务的、主动有意识地聚焦于某一对象的注意力。

第7章深度学习（2）注意力与记忆机制注意力机制?基本模式

第7章深度学习（2）注意力与记忆机制注意力机制除了上面介绍的基本模式外，注意力机制还存在一些变化的模型。?多头注意力?硬性注意力?键值注意力从输入信息中选取出和任务相关的信息，主动注意力是在所有输入信息上的多项分布，是一种扁平结构结构化注意力?指针网络

第7章深度学习（2）注意力与记忆机制常见的记忆方式1.人脑中的记忆在生物神经网络中，记忆是外界信息在人脑中存储机制。大脑记忆毫无疑问是通过生物神经网络实现的。虽然其机理目前还无法解释，但直观上记忆机制和神经网络的联结形态以及神经元的活动相关。人脑记忆的一个特点是保存时间不一样，可以分为长期记忆和短期记忆。长期记忆也称为结构记忆或知识，体现为神经元之间的联结关形态，其更新速度比较慢。短期记忆体现为神经元的活动，更新较快，维持时间为几秒至几分钟。短期记忆是神经连接的暂时性强化，通过不断巩固、强化可形成长期记忆。短期记忆、长期记忆的动态更新过程称为演化过程。此外，在执行某个认知行为(比如记下电话号码，算术运算)时，在人脑中还会存在一个“缓存”，即工作记忆。大脑记忆的另一个主要特点是可以通过联想来进行检索的，形成联想记忆。

第7章深度学习（2）注意力与记忆机制常见的记忆方式2.结构化的外部记忆神经网络中可以储存的信息量称为网络容量。一般来说，利用一组神经元来储存信息的容量和神经元的数量以及网络的复杂度成正比。为了增强网络容量，一种比较简单的方式是引入结构化的记忆模块，将和任务相关的短期记忆保存在辅助记忆中，需要时再进行读取。这个引入的结构化辅助记忆一般称为外部记忆，以区别于循环神经网络的内部记忆(即隐状态)。外部记忆有两个特点：(1)结构性。记忆通过结构化的方法来存储，一般用一个向量来表示一个记忆片段。用一组向量来表示多个记忆。记忆的组织方式可以是数组、树、栈或队列等。(2)内容地位。按内容寻址要访问外部记忆中存储的信息，需要通过按内容的寻址方式进行定位，然后进行读取或写入操作。通常使用注意力机制来进行按内容寻址。

第7章深度