神经网络控制02 (中文).docVIP

HOPFIELD 神经网络（最优化网络） 为了得到更深入的信息，需要涉及P.K.Simpson的《人工神经系统》（pp. 46）。 注意：上图并未画出具体的连接。每个神经元结点与所有神经元结点之间都存在连接。用wij.表示连接的权值。 输入向量用模p表示 Yp=(y1p , y2p , yip, ynp) 学习（编码）由以下方程完成： 或者 （其中y=±1） (1) np 是储存在网络W中总的模式数，方程（1）明确地表示为 [wij = wji; {wii=0，其中yi= ±1} ] (2) 回忆的功能由下方程表示 j=1,2,…,n （3） 注意表示第i个神经元的总输入，而S(●) 表示二进制的S型{函数 S(x)= (4) 回忆的过程会不停的更新直到函数收敛，例如，所有神经元的所有输出不在改变。 例子 n=4 Y1=(1 –1 1 -1) Y2=(1 1 1 1) 我们有2个模式，将它们编码储存并只用一部分信息将他们回忆起来。 1、学习（编码） W=(Y1 TY1-I)+( Y2 TY2-I) = 上式中减去一个单位矩阵I 使得wii=0 。 2、回忆 让我们把下面的值输入网络， Y=(1 –1 1 1)≈Y2 输入的Y 和 储存的Y2相近但不完全一样。 （1）更新第一个神经元 = = 经过这次更新，4个神经元有以下的状态（输出）： y1(t)=1 y2(t)= -1 y3(t)=1 y4(t)=1 （2）更新第二个神经元 = = 经过这次更新，4个神经元有以下的状态（输出）： y1(t)=1 y2(t)=1 y3(t)=1 y4(t)=1 （3）更新第三个神经元 = = （4）继续更新第四个神经元 = = 经过最后这次更新，输出为： Y=(1 1 1 1) 这刚好与Y2 一样。 结论：我们介绍了HOPFIED神经网络的记忆能够精确的改正和识别存在着一些噪音的Y2 。 HOPFIELD神经网络的稳定性和容量 网络对输入是否稳定的呢？ 定义以下Lyapunov 函数 (5) 其中，Y=(y1 y1 … yn.)是一个任意向量。 ΔL(Y) 与 Δyi 的关系是 (6) 若你对上述的ΔL(Y)不是很理解，那就看看下面这个直接的例子： 假设n=2, = 如果y是连续的，则L(Y)也是连续的。 = = （假设wij=wji ） 且 或 方程按以下方式更新： 若0 则 0 ； 若0 则 0 ；总之，o 根据方程（3）和（4），那么L(Y) 的值在更新的过程中一直减小，所以更新方程是完全稳定的 （实际上，第二页中的例子太简单了，因为更新永远不会产生负值） 一个 Lyapunov 的例子 假设有一系统 xi’=fi(x1, x2, …, xn)=fi(X) 我们假定该系统是稳定的。 从Lyapunov 函数（能量函数）L L=x12+ x22+…xn2 简单地假设所有的fi(x)=-xi 例如，最初的微分方程(xi’=-xi) 是一个衰减函数，那么 这就意味着至少有一个输入(xi) 在改变即()，那么这个系统就消耗能量， 例子中()。当所有的输入停止改变即()，该系统将保持稳定。 Hopfield神经网络中可以储存多少个模 例如：当n=10 假如我们将模数保持在一下的话，我们获得正确回忆的可能性将会非常高。 结论： HOPFIELD神经网络具有非常有限的储存容量。 只有二进制模式的HOPFIELD神经网络具有学习功能。 HOPFIELD神经网络能够从局部信息中构建完整的信息，这在噪音环境中非常有用。例如它可以作为在噪音环境中检测错误的一种理想网络。 HOPFIELD神经网络在异步更新下可以保持稳定。 HOPFIELD神经网络.对并行处理非常理想。 HOPFIELD 神经网络的扩展 动态方程： ， wij=wji (7) yi=S(ui)