神经网络原理与应用.ppt

4.神经网络的工作方式及学习规则 　　在传统的数字计算机中，计算与存储 是完全独立的两个部分，即计算机在计算 之前要从存储器中取出待处理的数据，然 后计算，最后又将结果存入存储器，这样 存储器与计算器之间的通道就构成了计算 机的瓶颈，从而大大限制了它的运算能力。 * 神经网络与模式识别研究室 * 在人工神经网络中，信息的存储与处理是合二为一的，即信息的存储体现在神经元连接的权值分布之中，并以大规模并行分布方式处理。 神经网络的信息处理过程可以分为两个阶段，一个是学习期，此时各神经元的状态不变，而各连接权值通过学习进行修正，这个过程相对较慢，权值的调整过程即为学习过程，最终的权值分布即为长期记忆。 * 神经网络与模式识别研究室 * 而另一阶段则是工作期，此时神经网络已经训练好，连接权值保持不变，即通过信息的不断传递，使各神经元状态发生变化，从而使网络最终达到一个稳定平衡态，这就像人脑寻找记忆的过程，这一过程相对较快，各神经元的状态也称之为短期记忆。 * 神经网络与模式识别研究室 * 不同网络的学习规则有所不同，学习规则即为权值调整的一种算法，有的网络学习或权值调整是在网络信息处理过程中自发地完成的，而有的网络则需要从例子中进行学习，常用的学习规则有如下几种： * 神经网络与模式识别研究室 * 1)相关规则：仅根据连接间的激活水平改变权值，比如Hebb规则为： 与条