神经网络控制2BP网络.pptVIP

神经网络原理 王永骥 常用神经网络原理及学习算法 1、感知器网络(Perceptron) 2、 BP网络 感知器神经元模型 感知器模型如图Fig2.2.1 I/O关系 图2.2.1 单层感知器模型如图2.2.2 定义加权系数 wij为第i个神经元到第j个神经元之间的连接值 感知器神经网络模型 图2.2.2 学习训练算法 训练步骤 1）对于所要解决的问题，确定输入向量 X,目标向量T,由此确定维数及网络结构参数，n,m; 2) 参数初始化； 3）设定最大循环次数； 4）计算网络输出； 5）检查输出矢量Y与目标矢量T是否相同，如果时，或以达最大循环次数，训练结束，否则转入6）； 6）学习 并返回4）。 学习算法的收敛性 可证：在训练样本XP,p=1,2,…,K是线性可分时，采用上式的学习方法，在有限次迭代后，必能归到正确解。 假设 A1:??????? 输入样本 X1, X2,…, Xk 归一化； A2:??????? 最优加权||W*||=1； A3:??????? 令tq=0对应的样本XB取反向。这样，W*TX0 =W*TX0，问题简化为对所有的XP，训练后可以得到W*，W*TX0 证明: 因为K个样本线性可分，所以存在W*，对任意K，W*TXp≥d，d0，权值向量W和最优权值向量W*之间的余弦角cosα为 (2.5) 由学习律可得 W(k+1)=W(k)+μX(k) , μ=2neq (2.6) 式（2.6）左乘W*可得 W*W(k+1)=W* [W(k)+μX(k)] ≥W*W(k)+μd 从k=0迭代, 可得 W*W(k) ≥ W*W(0)+kμd (2.7) 选择W(0)∈XP，满足W*XP0，此时有 W*W(k) ≥kμd (2.8) 在W(k)未达到W*时，W(k)X(k)0，所以 (2.9) 迭代可得： (2.10) 所以, (2.11) 当W(k)=W*时，S(k)=1，我们有 这说明在μ和d选定后，可以在有限的次数k达到最优加权W*。 求解 得到 感知器网络小结 本节讨论了神经网络的最初模型－感知器网络。可得出以下结论: 1. 单层感知器网络用于线性问题的分类是有效的。其学习算法在一定条件下是收敛性的； 2. 输入向量含有奇异向量时，感知器学习算法可采用规一化学习算法； 3. 单层感知器对于非线性分类问题能力有限。 感知器网络在神经网络的研究中有着重要意义和地位，其学习算法的自组织、自适应思想，是神经网络学习算法的基础。 BP 网络 感知器网络和Adaline，都存在一定缺点。 单层感知器：硬限幅函数 为作用函数，只能解决简单的分类问题。 硬限幅函数的不可微分特性，使其扩展到多层感知器时带来权值修正的困难。 Adaline网络采用线性作用函数，处理复杂非线性问题的能力相对较弱。 线性函数 可微分函数，学习算法 线性优化。 采用线性作用函数的多层网络等效为一个单层线性网络，因此，简单地从结构上扩展adaline 并不能加强它处理非线性问题的能力。 BP 网络(2) 结合二者的长处。 将感知器网络结构扩展到多层，其作用函数采用一种可微分的函数，这就形成了功能比较强大的多层前向网络。 由于多层前向网络采用反向传播学习算法（Back Propagation），通常人们将其称为BP网络。 主要用途 BP网络主要用于： （1）函数逼近：用输入矢量和相应的输出矢量训练网络逼近某个函数； （2）模式识别：用一个特定的输出矢量将它与输入矢量联系起来； （3）分类：把输入矢量以所定义的合适的方法进行分类； （4）数据压缩：减少输出矢量维数以便于传输或存储。 在人工神经网络的实际工程应用中，特别在自动控制领域中，大多数神经网络模型是采用BP网络或它的变化形式，它也是前向网络的核心部分，体现了人工神经网络最精华的部分。 BP网络主要内容 1、BP网络模型 2、学习训练算法 3、BP网络设计问题 4、限制与不足 令误差的求解公式： BP网络设计问题 在进行BP网络的设计时，一般应从网络的层数， 每层中的神经元个数和激活函数、初始值以及学习速 率等几个方面来进行考虑。下面讨论各自的选取原则。