BP神经网详解与实例讲稿.ppt

ipm= -1 , wim= (第i个神经元的阈值) （5） 注：由（1） 式，第i个神经元的输出可表示为 特别当f是线性函数时 （6） 图7 多层前馈网络 2．多层前馈网络 （l）输入层不计在层数之内，它有N0个神经元．设网络 共有L层；输出层为第L层；第 k层有Nk个神经元． 假设： (2) 设 表示第k层第i神经元所接收的信息 wk(i,j) 表示从第k-1层第j个元到第k层第i个元的权重， 表第k层第i个元的输出 （3）设层与层间的神经元都有信息交换（否则，可设它们之间的权重为零）；但同一层的神经元之间无信息传输． (4) 设信息传输的方向是从输入层到输出层方向；因此称为前向网络．没有反向传播信息． （5） 表示输入的第j个分量． 假设： 在上述假定下网络的输入输出关系可以表示为： （7） 其中表示第k层第i个元的阈值. 定理2 对于具有多个隐层的前馈神经网络；设激发函数为S 函数；且指标函数取 （8） （9） 则每个训练循环中按梯度下降时；其权重迭代公式为 （ 10 ） 表示第-1层第个元对第层第个元输入的第次迭代时的权重 其中 （11） （12） BP算法 Step1 选定学习的数据,p=1,…,P, 随机确定初始权矩阵W（0） Step2 用（10）式反向修正,直到用完所有学习数据. 用学习数据计算网络输出 Step3 五．应用之例：蚊子的分类 已知的两类蚊子的数据如表1： 翼长 触角长 类别 1.78 1.14 Apf 1.96 1.18 Apf 1.86 1.20 Apf 1.72 1.24 Af 2.00 1.26 Apf 2.00 1.28 Apf 1.96 1.30 Apf 1.74 1.36 Af 目标值 0.9 0.9 0.9 0.1 0.9 0.9 0.9 0.1 翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af 目标t 0.1 0.1 0.1 0.1 0.1 0.1 0.1 输入数据有15个，即 , p=1,…,15; j=1, 2; 对应15个输出。 建模：（输入层，中间层，输出层，每层的元素应取多少个？） 建立神经网络 规定目标为： 当t(1)=0.9 时表示属于Apf类，t(2)=0.1表示属于Af类。 设两个权重系数矩阵为： 为阈值 其中 分析如下： 为第一层的输出，同时作为第二层的输入。 其中， 为阈值， 为激励函数 若令 （作为一固定输入） （阈值作为固定输入神经元相应的权系数） 则有： 取激励函数为 = 则 同样，取 （1）随机给出两个权矩阵的初值；例如用MATLAB软件时可以用以下语句： 令p=0 具体算法如下： =rand(2,3); =rand(1,3); (2) 根据输入数据利用公式算出网络的输出 = 取 （3）计算 因为 所以 （4）取 （或其他正数，可调整大小） (5) 计算 和 j=1,2,3, i=1,2,3, 计算 j=1,2,3 j=1,2,3 (6) p=p+1，转（2） 注：仅计算一圈（p=1，2，…，15）是不够的，直到当各权重变化很小时停止，本例中，共计算了147圈，迭代了2205次。 最后结果是： 即网络模型的解为： = BP网络建模特点： 非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。 并行分布处理方式：在神经网络中信息是分布储存和并行处理的，这使它具有很强的容错性和很快的处理速度。 自学习和自适应能力：神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。 数据融合的能力：神经网络可以同时处理定量信息和定性信息，因此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处理）。 多变量系统：神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问