课件：前馈神经网络.ppt

net.adaptparam.passes=70; [net,y,output]=adapt(net,p,t);%输出信号output为网络调整过程中的误差 %绘制信号、迭加随机噪声信号、输出信号的波形 hold on %绘制信号波形 subplot(3,1,1); plot(time,input,b); xlabel(t,position,[10.5,-1]); ylabel(信号波形 sin(t),fontsize,8) subplot(3,1,2); %绘制迭加随机信号波形 plot(time,t,m); xlabel(t,position,[10.5,-5]); ylabel(随机噪声波形 sin(t)+noise(t),fontsize,8) %绘制输出信号波形 subplot(3,1,3); plot(time,output,g); xlabel(t,position,[10.5,-2]); ylabel(输出信号波形 y(t),fontsize,8) hold off 网络运行结果如下图： 看出输出信号除含有一定直流分量外，其波形与输入信号波形基本一致，消除了迭加的随机噪声。 3.4多层前馈神经网络(BP网络) 多层前馈神经网络的典型结构如图。 它包含一个输出层和一个输入层，一个或多个隐含层。隐含层的变换函数一般为非线性函数，如S型函数或双曲线正切函数（tanh(x)）。输出层的变换函数可以是非线性的，也可以是线性的，这由输入、输出映射关系的需要而定。 多层前馈神经网络需要解决的关键问题是学习算法。 以Rumelhart和McClelland为首的科研小组提出的误差反向传播（Error Back Propagation——BP）算法，为多层前馈神经网络的研究奠定了基础。 BP学习算法已在许多科学技术领域中得到成功的应用。在优化设计中，对复杂非线性优化等问题收到了良好应用效果。人们也常将多层前馈网络直接称为BP网。 BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成，如图所示。 正向传播时，输入样本经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出（教师信号）不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。 信号正向传播与误差反向传播的权值调整过程，周而复始地进行。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。 3.4.1 基于BP算法的多层前馈网络模型 采用BP算法的多层前馈网络是至今为止应用最广泛的神经网络，在多层前馈网的应用中，以图3所示的单隐层网络的应用最为普遍。 三层BP网络结构 一般习惯将单隐层前馈网称为三层前馈网或三层感知器，所谓三层包括了输入层、隐层和输出层。 为分析方便，现指定输入层、隐层、输出层分别以i 、j、 k 表示 描述此三层前馈BP网络： ——输入向量，加入 ，隐层单元可引入阈值； —— 隐层输出向量，加入 ，输出层单元可引入阈值； ——输出层输出向量； d= —— 输入层到隐层间的权值矩阵； ——隐层第j个神经元对应的权列向量； —— 隐层到输出层间的权值矩阵； ——输出层第k个神经元对应的权列向量； —— 网络期望输出向量。 下面分析各层信号之间的数学关系： 输出层有: 隐层有: (1) (2) (3) (4) BP网络一般都采用非线性变换的神经元，转移函数多采用单极性S形函数或双极性S函数，也采用线性函数。 单极性S函数： 双极性S函数： （5） （6） 上述式（1） —— （6）构成了三层BP网络的数学模型。 对于多层网络，这种数学模型构筑的是一个非线性的超平面组成的区域，是比较柔和光滑的任意界面，这种网络容错性较好。另一重要特点是f(x)连续可微，可以严格利用梯度法进行推算，得到十分明确的权解析式。 BP网络可以理解为完成n维空间向量对 维空间的近视映照。如果通过P个实际映照对（X1，O1），（X2，O2），…，（XP，OP）的训练（学习），其训练的目的是得到网络权矩阵V和W，使其映照获得成功。训练后得到的连接权对其他不属于上述P的X子集进行测试，其结果仍能满足正确的映照。 3.4.2 BP网络的学习算法 BP网络学习是采用误差的梯度下降 (Gradient Descent) 算法，用已知例子作为教师信号对网络的权进行学习。 当网络输出与期望输出不等时，存在输出误差E，定义如下 将上式误差定义展开至隐层： 进一步展开至输入层 ： 此式看出