神經网络控制01(中文).docVIP

笔记 #1: 神经网络 反向传播学习算法 N(x)=S(y)=( S1(y1), S2(y2),, …, Sp(yp) ); S(?): 非线性方程. x 和 y 是 (1xn) 和 (1xp) 矢量. d 是需要的输出, (1xp) 矢量. e 是误差信号, (1xp) 矢量.. 迭代k, ek=dk – N(xk) = dk – S(yk) =[ (d1k – S(y1k), … , (dpk – S(ypk) ) 即时方均差的总计: 此误差在迭代k时产生的. 总误差 nT : 数据对总的误差, (x1,d1; …; x nT,d nT). 反向传播学习算法使 在每次迭代减到最小. 这表明它也使 E变得最小? 如果 每个回合的E被减到最小,我们预期 E 也被减到最小. 例如: n=2, p=2, 也就是两个输入, 两个输出. y1=m11S1(x1) + m21S2(x2) y2=m12S1(x1) + m22S2(x2) 在这个假定下, Si(x)= S (x),非线性是相同的. [y1 y2] = [S(x1) S(x2)] =[S(x1) S(x2)] ? 实际的网络输出: [S(y1) S(y2)]S(y)=N(x) 误差: e1=d1- S(y1) , e2=d2- S(y2) = 是唯一的变量, 然后我们必须将有关这些变量的 减到最少. 这个减小过程也就是我们所知的神经网络的训练. 梯度降落运算法则 or 我们来考虑两个不同的网络:: A) B) :让我们在输出层看 第j个 神经元: 我们将 简化为 (在页面上看到图象 ??? 为了更好的视野) 在 第j个迭代, =; 而 ; nq 是在隐含层神经元中的数量，为了方便，我们令nq=p = = =; 而 = 现在来考虑在隐含层的第q个神经元, f =; 而 ; ni是神经元在输入层中的数量. = = =; = = = 再有 = 这里我们使用了微分的链规则, 也就是., 如果 f=f(x1, x2,…,xn ) 那么 我们应用这个关系的方法来推导是通过 ， 然后 我们这样做的原因是事实上很难对 进行评估，因为一旦我们改变了 ，比较不容易看出多少 Ek 将会改变。 B) 现在让我们考虑一个属于G层的神经元, 在这个图上,我也展示了我们以前考虑的神经元, 既神经元 j 和 h. 我们应该如何训练权值msr? 从学习算法 =; 但 ; ns 是 F层中神经元的数量. = = =; = = = = = = = 权值 msr 可以更新为 权值连接的详细内容看下页.  3层神经网络 非线性S方程 = = = 注意: 总是正的. S形函数的优点在于它的导数比较容易求得。 如果网络需要处理负数和正数, S函数可以变成 = 要注意我们不仅仅需要使用S形函数, 我们需要的是一个单调非递减的可微分函数来表示神经元的非线性。 转变后的S形函数 c: 增益 为大部分网络推荐. 步骤函数 S(x)=e 如果 xc S(x)=h 如果 xc 这些在较早的网络中使用，比如感知Hopfield网络等， 是不可微分的。 梯度降落运算法则的讨论 给出以上的泰勒展开式,我们想找出f(x)的最大和最小值, 使得 由此给出 代入 x0=x(k) x=x(k+1) 接着 符合训练运算法则 反向传播学习的简单例子. 输入: x=[-3.0 2.0] 要求输出: d=[0.4 0.8] 让我们从图中看一下 现在，我们要创建一个能学习这种输入、输出的神经网络. 以下就是这种神经网络： 神经元2接受一个恒定的输入, 所以叫做偏差.。 此关系在零均值的输入下可能有非零输出. 这就是为什么我们叫它偏差。 我们想要得到最小的E， d1=0.4, d2=0.8 虽然我们只有两个参数 (m1, m2), 但