第9章人工神经网络.pptVIP

而其中的 所以， 最速下降法，要求E的极小点 Wij=表示第k-1层神经元i与第k层第j个神经元j之间的连接权重。 netj表示第k层神经元j的总输入 Oi表示第k-1层神经元的输出 令 所以Δwij=αδjoi α为学习率 每次训练时，为已知 要确定ΔWij 关键是确定此值 问题转化成如何求得网络中各神经元j的 情况1：ANj为输出层神经元 oj=f(netj) 容易得到 从而 的问题转化成确定 所以， 故，当ANj为输出层的神经元时，它对应的联接权wij应该按照下列公式进行调整： 情况2：ANj为隐藏层神经元 函数 而 其中，Ok是Oj（隐含层神经元j的输出）的函数。 netk= oj … o2 o1 oHh netk是 oj下一级的神经元的网络输入 j神经元的输出为K层的输入，即K为j神经元所在层的下一层。 所以， 而 于是， 或 于是 也就是说，对于隐含层H的神经元j来说，将所有与之相连的输出神经元（或者是下一层的隐含层的神经元）k输出端的误差乘以对应的权值wjk，并求和，作为隐含层神经元j的输出误差。所以这个过程也成为“误差反向传播”。 图9.11 B-P学习算法的流程图 B-P算法的优缺点： 优点：理论基础牢固，推导过程严谨，物理概念清晰，通用性好等。所以，它是目前用来训练前向多层网络较好的算法。 缺点： （1）该学习算法的收敛速度慢；（2）网络中隐节点个数的选取尚无理论上的指导；（3）从数学角度看，B-P算法是一种梯度最速下降法，这就可能出现局部极小的问题。当出现局部极小时，从表面上看，误差符合要求，但这时所得到的解并不一定是问题的真正解。所以B-P算法是不完备的。 9.3 反向传播模型及其学习算法 9.3.3 反向传播计算的举例 设图9.12是一个简单的前向传播网络，用B-P算法确定其中的各连接权值时，?的计算方法如下： 9.3 反向传播模型及其学习算法 9.3 反向传播模型及其学习算法 9.3 反向传播模型及其学习算法 9.3 反向传播模型及其学习算法 9.4.1 Hopfield模型 Hopfield模型是霍普菲尔德分别于1982年及1984提出的两个神经网络模型。1982年提出的是离散型，1984年提出的是连续型，但它们都是反馈网络结构。图9.13给出了一个简单的反馈神经网络图。 9.4 Hopfield模型及其学习算法 由于在反馈网络中，网络的输出要反复地作为输入再送入网络中，这就使得网络具有了动态性，网络的状态在不断的改变之中，因而就提出了网络的稳定性问题。所谓一个网络是稳定的是指从某一时刻开始，网络的状态不再改变。 设用X(t)表示网络在时刻t的状态，如果从t=０的任一初态X(0)开始，存在一个有限的时刻t，使得从此时刻开始神经网络的状态不再发生变化，即 (9.4.1) 就称此网络是稳定的。 9.4 Hopfield模型及其学习算法 离散网络模型是一个离散时间系统，每个神经元只有两个状态，可以用1和0来表示，由连接权值Ｗij所构成的矩阵是一个对角线为0的对称矩阵，即 (9.4.2） 如果用x(t)表示整个网络在时刻ｔ的状态，则X是一个向量，它包含了网络中每个人工神经元的状态。所以，状态向量X中的分量个数就是网络中人工神经元的个数。假设网络中的节点（人工神经元）个数为n，则向量X的构成如下： 9.4 Hopfield模型及其学习算法 这里， ,其中的Ｗij为节点ｉ到节点ｊ 的连接权值； 为节点ｊ的阈值。 (9.4.3) Xi(t)表示节点i（第个i神经元）在时刻t的状态，该节点在时刻t+1的状态由下式决定： (9.4.4) 9.4 Hopfield模型及其学习算法 Hopfield网络离散模型有两种工作模式： （1）串行方式，是指在任一时刻t，只有一个神经元i发生状态变化，而其余的神经元保持状态不变。 （2）并行方式，是指在任一时刻t，都有部分或全体神经元同时改变状态。 有关离散的Hopfield网络的稳定性问题，已于1983年由Cohen和Grossberg给于了证明。而Hopfield等人又进一步证明 ，只要连接权值构成的矩阵是非负对角元的对称矩阵，则该网络就具有串行稳定性。 9.4 Hopfield模型及其学习算法 1984年，Hopfield