5BP神经网络模型.docVIP

BP神经网络模型 人工神经网络根据其模型建立的原理，可以分为数学模型和认知模型。数学模型主要是在神经元生理特性的基础上，通过抽象用数学表达式描述，它包括前向网络、反馈网络、随机网络等。而认知模型主要根据神经系统信息处理的过程建立的。 近年来，各种各样ANN学习算法被开发出来训练各种ANN 。ANN的学习方式可以大致分为三大类： 1：采用监督学习方式的ANN。如BP网络，这种方式的网络在投入使用前使用一个样本数据集来训练ANN。 2：采用非监督学习方式的ANN。系统从多项重复工作中学习一个模式，并且在遇到类似问题时可以回忆起学到的模式。 3：采用实时学习方式。学习过程和执行过程不加以区分的网络称为实时学习网络，这种ANN在使用时也可继续学习。 在以上三种学习方式中，BP网络是目前较为成熟的采用监督学习方式的应用最为广泛的代表性网络之一。以下我们详细介绍这种算法： 前向多层神经网络的反传学习理论(Back-Propagation , 缩写为BP)最早是由Werbos在1974年提出来的。Rumelhart等于1985年发展了反传学习网络算法，实现了Minsky的多层网络的设想。网络不仅有输入层节点、输出层节点，而且还有隐层节点。隐层可以是一层，也可以是多层。当信号输入时，首先传到隐节点，经过作用函数后，再把隐节点的输出信号传播到输出层节点。经过处理后给出输出结果。节点的作用函数通常选用S型函数，如 图9.1 给出了反传学习过程原理图。在这种网络中，学习过程由正向传播和反向传播组成。在正向传播过程中，输入信号从输入层经隐层单元逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播，将输出信号的误差沿原来的连接通路返回。通过修改各层神经元的权值，使得误差信号最小。 图9．1 反传学习过程原理图 设有n个节点的任意网络，各节点之特性为sigmoid型。为简单起见，认为整个网络只有一个输出y，任一节点i之输出为 ，设有N个样本 k=1，2，…，N，对某一输入 ，网络之输出为 ，节点i之输出为,节点j之输入为 (9.5.1) 仍使用平方型误差函数 (9.5.2) 其中为网络之实际输出，定义单个样本k的误差 其中 于是 (9.5.3) 当j为输出节点时，，则 (9.5.4) 当j不是输出节点时，则有 (9.5.5) 设网络分为M层，第M层仅为输出节点，第一层为输入节点，则反传学习算法 步骤如下： 选定权值系数之初值为W； 重复下述过程直至收敛 对k =1到N a . 计算 和 (正向过程) b . 对各层m=M到2反向计算(反 向过程) 图9.２ 反传单样本学习算