BP神经络理论基础介绍.ppt

基本假设 网络含有L层 联接矩阵： W(1) ，W(2) ，…，W(L) 第k层的神经元：Hk个 自变量数： n*H1+H1*H2+H2*H3+…+HL*m 样本集： S={ (X1,Y1),(X2,Y2),…,(Xs,Ys)} 误差测度: * * 用E代表EP，用（X，Y）代表（XP，YP） X=(x1，x2， ，xn) Y=(y1，y2， ，ym) 该样本对应的实际输出为 O=（o1，o2， ，om） * * 误差测度 用理想输出与实际输出的方差作为相应的误差测度 * * * * wij E 0，此时Δwij0 取 E 0, 此时Δwij0 wij * * 而其中的 所以， * * 令 所以Δwij=αδjoi α为学习率 oj=f(netj) 容易得到 * * 从而 * * * * 所以， 故，当ANj为输出层的神经元时，它对应的联接权wij应该按照下列公式进行调整： * * 函数 * * netk= oj … o2 o1 oHh netk是 oj下一级的神经元的网络输入 * * * * * * 收敛速度问题 局部极小点问题 逃离/避开局部极小点：修改W、V的初值并不是总有效。 逃离 统计方法；[Wasserman，1986]将Cauchy训练与BP算法结合起来，可以在保证训练速度不被降低的情况下，找到全局极小点。 * * 网络瘫痪问题 在训练中，权可能变得很大，这会使神经元的网络输入变得很大，从而又使得其激活函数的导函数在此点上的取值很小。根据相应式子，此时的训练步长会变得非常小，进而将导致训练速度降得非常低，最终导致网络停止收敛 稳定性问题 用修改量的综合实施权的修改 连续变化的环境，它将变成无效的 * * 步长问题 BP网络的收敛是基于无穷小的权修改量 步长太小，收敛就非常慢 步长太大，可能会导致网络的瘫痪和不稳定 自适应步长，使得权修改量能随着网络的训练而不断变化。[1988年，Wasserman] * * 无导师学习(Unsupervised Learning)与无导师训练(Unsupervised Training)相对应 抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。 * * 有导师学习(Supervised Learning)与有导师训练(Supervised Training)相对应。 输入向量与其对应的输出向量构成一训练。 有导师学习的训练算法的主要步骤包括： 1）? 从样本集合中取一个样本（Ai，Bi）； 2）? 计算出网络的实际输出O； 3）? 求D=Bi-O； 4）? 根据D调整权矩阵W； 5） 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。 * * Widrow和Hoff的写法： Wij(t+1)=Wij(t)+α(yj- aj(t))oi(t) 也可以写成： Wij(t+1)=Wij(t)+Wij(t) Wij(t)=αδjoi(t) δj=yj- aj(t) Grossberg的写法为： Wij(t)=αai(t)(oj(t)-Wij(t)) 更一般的Delta规则为： Wij(t)=g(ai(t)，yj，oj(t)，Wij(t)) * * 1 概述 2 基本BP算法 3 算法的改进 4 算法的实现 5 算法的理论基础 6 几个问题的讨论 * * 1、BP算法的出现 非循环多级网络的训练算法 UCSD PDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述 1982年，Paker就完成了相似的工作 1974年，Werbos已提出了该方法 2、弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。 3、优点：广泛的适应性和有效性。 * * 4、BP网络主要用于 1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。 2）模式识别：用一个特定的输出向量将它与输入向量联系起来。 3）分类：把输入向量 以所定义的合适方式进行分类。 4）数据压缩：减少输出向量维数以便于传输或存储。 * * 1 网络的构成 神经元的网络输入： neti=x1w1i+x2w2i+…+xnwni 神经元的输出： * * 应该将net的值尽量控制在收敛比较快的范围内 可以用其它的函数作为激活函数，只要该函数是处处可导的 * * ??0.5 f ′(net) 0.25 o 0 1 ? 1 （0,0.5） ?net （0,0） o * * x1 o1 输出层 隐藏层 输入层 x2 o2 om xn … … … … … … … W(1) W(2) W(3) W(L) BP网的结构 输入向量、输出向量的维数、网络隐藏层的层数和各个