第三章 人工神经网络4BP网络.ppt

上次课内容回顾:学习算法 离散单输出感知器训练算法 W=W+X;W=W-X W=W+(Y-O)X 离散多输出感知器训练算法 Wj=Wj+(yj-oj)X 连续多输出感知器训练算法 wij=wij+α(yj-oj)xi 上次课内容回顾:线性不可分问题 第四章 BP网络 主要内容： BP网络的构成 隐藏层权的调整分析 Delta规则理论推导 算法的收敛速度及其改进讨论 BP网络中的几个重要问题 重点：BP算法 难点：Delta规则的理论推导 第四章 BP网络 4.1 概述 4.2 基本BP算法 4.3 算法的改进 4.4 算法的实现 4.5 算法的理论基础 4.6 几个问题的讨论 4.1 概述 1、BP算法的出现 非循环多级网络的训练算法 UCSD PDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述 1982年，Paker就完成了相似的工作 1974年，Werbos已提出了该方法 2、弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。 3、优点：广泛的适应性和有效性。 4.2 基本BP算法 4.2.1 网络的构成 神经元的网络输入： neti=x1w1i+x2w2i+…+xnwni 神经元的输出： 输出函数分析 应该将net的值尽量控制在收敛比较快的范围内 可以用其它的函数作为激活函数，只要该函数是处处可导的 输出函数分析 因为S型函数具有非线性放大系数功能，它可以把输入从负无穷大到正无穷大的信号，变换成-1到l之间输出，对较大的输入信号，放大系数较小；而对较小的输入信号，放大系数则较大，所以采用S型激活函数可以去处理和逼近非线性的输入/输出关系。 只有当希望对网络的输出进行限制，如限制在0和1之间，那么在输出层应当包含S型激活函数，在一般情况下，均是在隐含层采用S型激活函数，而输出层采用线性激活函数。 网络的拓扑结构 网络的拓扑结构 BP网的结构 输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数一般由实际问题决定，目前的研究结果还难以给出他们与问题类型、规模之间的关系。 实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。 BP网一般都选用二级网络。 网络的拓扑结构 4.2.2 训练过程概述 BP算法是由两部分组成：信息的正向传递与误差的反向传播。 在正向传播过程中，输入信息从输入经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态。 如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标 4.2.2 训练过程概述 样本：(输入向量，理想输出向量) 权初始化：不同的小随机数。“小随机数”保证不会因权过大使网络进入饱和状态；“不同”保证网络可以学。 1、向前传播阶段： （1）从样本集中取一个样本(Xp，Yp)，将Xp输入网络； （2）计算相应的实际输出Op： Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L)) 4.2.2 训练过程概述 2、向后传播阶段——误差传播阶段： （1）计算实际输出Op与相应的理想输出Yp的差； （2）按极小化误差的方式调整权矩阵。 网络关于第p个样本的误差测度： 4.2.3 误差传播分析 2、隐藏层权的调整 2、隐藏层权的调整 2、隐藏层权的调整 vhp=vhp+?vhp ?vhp=αδpk-1ohk-2 =αfk-1 ′(netp)( wp1δ1k+ wp2δ2k+…+ wpmδmk)ohk-2 =αopk-1(1-opk-1)( wp1δ1k+ wp2δ2k+…+ wpmδmk)ohk-2 4.2.4 基本的BP算法 样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)} 基本思想 ： 逐一地根据样本集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对W(1) ，W(2) ，…，W(L)各做一次调整，重复这个循环，直到∑Epε。 用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程 算法4-1 基本BP算法 1 for k=1 to L do 1.1 初始化W(k)； 2 初始化精度控制参数ε； 3 E=ε+1; 4 while Eε do 4.1 E=0; 算法4-1 基本BP算法 4.2 对S中的每一个样本（Xp,Yp）： 4.2.1