第6章 神经网络.ppt

* 44 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 使用自适应学习率学习 使用惯性和自适应学习率学习 Hopfield神经网络 神经网络是用来模拟大脑的。但是，大脑的记忆透过联想才能运转。例如，我们可以在100～200ms内从不熟悉的环境中找到熟悉的面孔。在听到音乐的一些片段时，我们也能够回忆起完整的感受，包括声音和场景。大脑可以将片段组合在一起。 用后向传送算法训练的多层神经网络可用于解决型样识别问题。但是，我们在前面提到，这样的网络本身并不具备智能。为了模拟人类记忆的联想功能，需要一个不同类型的网络：回授神经网络。 回授神经网络带有从输出到输入回授回路。这种回路的出现对于网络的学习性能具有深远的影响。 20世纪60～70年代，很多研究者对回授神经网络的稳定性产生了兴趣，但是没有人能够预测什么样的网络是稳定的，一些研究人员对找到通用的解决方案表示悲观。當JohnHopfield提出在动态稳定网络中储存信息的物理原则，这个问题才在1982年得到解决。 单层n个神经元Hopfield神经网络 Hopfield网络通常用带有符号激励函数的McCulloch和Pitts神经元作为其计算元素。 网络的目前状态由目前所有神经元的输出y1,y2, …,yn确定。因此，对于单层n个神经元的网络，状态可由下面的状态向量定义： 在Hopfield网络中，神经元之间的突触权重通常以下面的矩阵形式表示： 其中：M是网络记忆的状态的数目，Ym是n维的二值向量，I是n×n的单位矩阵，上标T表示矩阵转换。 三个神经元的Hopfield网络所有可能状态的立方体表示 稳定的状态顶点由权重矩阵W、目前输入向量X和临界值矩阵θ确定。如果输入向量有部分错误或不完善的地方，那么在几次迭代后初始状态会收敛到稳定的状态顶点。 例如，假设网络需要记住两个相反的状态(1, 1, 1)和(-1,-1,-1)，那么 其中Y1、Y2是三维向量。 or 或 3×3维度的单位矩阵I为： 因此可以确定权重矩阵为： 接下来用输入向量串行Xl和X2来测试网络，Xl和X2分别和输出(或目标)向量Y1和Y2相等。我们希望看一下网络能否识别相似的型样。 首先用输入向量X来激励网络，然后计算实际的输出向量Y，随后将结果和初始输入向量X比较 剩下的6个状态都是不稳定的。但是，稳定的状态(也称作基本记忆)可以吸引它周围的状态。 基本记忆(1, 1, 1)吸引了不稳定的状态(-1, 1, 1)、(1,-1, 1)、(1, 1,-1)。和基本记忆(1, 1, 1)相比，每个不稳定的状态表示一个误差。 基本记忆(-1,-1,-1)吸引了不稳定的状态(-1,-1, 1)(-1, 1,-1)(1,-1,-1)。 Hopfield网络确定可以作为一個误差校正网络。 Hopfield神经网络的储存容量 储存容量，或网络可以储存和正确检索的基本记忆的最大数量。 Hopfield用实验方法指出最多能够储存在n个神经元的回授网络中的基本记忆个数是： 双向相关记忆 (BAM) Hopfield网络表现出记忆的自动联想功能。换言之，Hopfield可以检索混乱或不完整的记忆，但不能将它与不同的记忆联系起来。 人类的记忆本质上是相关聯的。一件事情可能提醒我们另一件事，另一件事再提示另一件事，如此类推。我们用一连串的相关记忆来回想起忘掉的记忆。例如，如果我们想不起来把雨伞放在哪里了，就会试图回忆最后在什么地方拿着雨伞，在做什么事情，与谁在交谈。我们试图建立起联想链，从而回忆起忘掉的事情。 要将一个记忆和其他记忆关联起来，需要一个回授神经网络，它能够接收一个神经元集合中的输入型样并且在另一个神经元集合上产生一个相关的、但与其不同的输出型样。 双向相关记忆(BAM)首先由BartKosko提出，它是异质相关网络。它将集合A的型样和另一个集合—集合B的型样关联起来，反之亦然。和Hopfield网络一样，尽管输入含糊或不完善，但BAM可以归纳并产生正确的输出。 BAM运算 BAM方法的基本思想是储存型样对，以便当将集合A中n维的输入向量X作为输入时，BAM方法回忆起集合B的m维向量Y，如果输入为Y，BAM方法就回忆起X。 要开发BAM，需要为想要储存的每个型样对建立一个相关矩阵。相关矩阵是一个由输入向量X乘以输出向量的转置YT而得到的矩阵。BAM权重矩阵是所有相关矩阵的和，即 其中M是储存在BAM中的型样对的数量。 BAM的稳定与储存容量 BAM是无条件稳定的。这就是说任何相关的知识都可以学习，没有不稳定的危险