第3章 节 (BP设计) 人工神经网络课件.pptVIP

输入量的选择 输入量选择的两条基本原则 必须选择那些对输出影响大且能够检测或提取的变量 各输入变量之间互不相关或相关性很小 一 、训练样本集的准备 输入输出量的性质 从输入、输出量的性质来看，可分为两类：一类是数值变量，一类是语言变量。 数值变量的值是数值确定的连续量或离散量。 语言变量是用自然语言表示的概念，其“语言值”是用自然语言表示的事物的各种属性。 当选用语言变量作为网络的输入或输出变量时，需将其语言值转换为离散的数值量。 一 、训练样本集的准备 第三章 前馈人工神经网络 －－误差反传（BP）算法的实现、改进与BP网络设计 3.4基于BP算法的多层前馈网络模型 三层BP网络 输入层 隐层 输出层 模型的数学表达 输入向量： X=(x1,x2,…,xi,…,xn)T 隐层输出向量： Y=(y1,y2,…,yj,…,ym)T 输出层输出向量： O=(o1,o2,…,ok,…,ol)T 期望输出向量：d=(d1, d2,…,dk,…,dl)T 输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm) 隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl) 各个变量之间如何建立联系，来描述整个网络？ 神经网络的学习 学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值乃至拓扑结构，以使网络的输出不断地接近期望的输出。 学习的本质： 对可变权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。 BP算法是一种学习规则 BP算法的基本思想 学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播 将误差分摊给各层的所有单元－－－各层单元的误差信号 修正各单元权值 BP算法的程序实现 (1)初始化； (4)计算各层误差信号； (5)调整各层权值； (6)检查是否对所有样本完成一次 轮训； (7)检查网络总误差是否达到精 度要求。 (2)输入训练样本对X? Xp、d? dp 计算各层输出； (3)计算网络输出误差； BP算法的程序实现 然后根据总误差计算各层的误差信号并调整权值。 另一种方法是在所有样本输入之后，计算网络的总误差： 多层前馈网的主要能力 (1)非线性映射能力 多层前馈网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 多层前馈网的主要能力 (2)泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。 (3)容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。 误差曲面与BP算法的局限性 误差函数的可调整参数的个数nw等于各层权值数加上阈值数，即： 误差E是nw+1维空间中一个形状极为复杂的曲面，该曲面上的每个点的“高度”对应于一个误差值，每个点的坐标向量对应着nw个权值，因此称这样的空间为误差的权空间。 误差曲面的分布－－BP算法的局限性 曲面的分布特点--------算法的局限性 (1)存在平坦区域--------误差下降缓慢，影响收敛速度 (2)存在多个极小点------易陷入局部最小点 曲面分布特点1：存在平坦区域 平坦－－误差的梯度变化小－－ 接近于零 存在平坦区域的原因分析 接近于零的情况分析 造成平坦区的原因： 各节点的净输入过大 对应着误差的某个谷点 平坦区 曲面分布特点2：存在多个极小点 误差梯度为零 多数极小点都是局部极小，即使是全局极小往往也不是唯一的。 单权值 双权值 曲面分布特点2：存在多个极小点 BP算法 －－－以误差梯度下降为权值调整原则 误差曲面的这一特点 －－－使之无法辨别极小点的性质 导致的结果： 因而训练经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给定误差。 标准BP算法的改进－－引言 误差曲面的形状－－固有的 算法的作用是什么？ 调整权值，找到最优点 那么如何更好地调整权值？ 利用算法使得权值在更新的过程中，‘走’合适的路径，比如跳出平坦区来提高收敛速度，跳出局部最小点等等 如何操作？ 需要在进入平坦区或局部最小点时进行一些判断，通过改变某些参数来使得权值的调整更为合理。 标准的BP算法内在的缺陷： ⑴ 易形成局部极小而得