3前馈神经网络-续2fanhua.pptVIP

* 3.4.4 多层前馈网络的主要能力 多层前馈网络是目前应用最多的神经网络，这主要归结于基于BP算法的多层前馈网络具有一些重要能力： (1)非线性映射能力 能学习和存储大量输入——输出模式映射关系，无需事先了解映射关系的数学方程。只要能提供足够多的样本模式对，供BP网络进行学习训练，便可实现由n输入维空间到m维输出空间的非线性映射。 在工程及许多技术领域中，系统累计大量输入——输出数据，但对系统内部规律难以掌握，无法用数学及其他理论方法来描述规律。对其进行模式识别或非线性映射，BP网络优势无可比拟。 (2)泛化能力 网络训练后，将所提取样本对中的非线性映射关系存储在权值矩阵中，在网络工作阶段，当向网络输入未曾见过的非样本数据时，网络也能完成由输入向输出的正确映射，这称网络泛化能力。BP网络可以实现良好的泛化能力。泛化能力是衡量多层前馈网性能优劣的重要评价内容。 (3)容错能力 允许输入样本中带有较大的误差甚至个别错误，网络仍可实现正确映射。 因为对权矩阵的调整过程，是从大量的样本对中提取统计特征的过程，反应正确规律的知识来自全体样本，个别样本误差不能左右对权值矩阵的调整。这也是BP网络的一个魅力。 3.4.5 误差曲面与BP算法的局限性 多层前馈网络的误差是各层权值和输入样本对的函数： E=F（XP，W，V，dP） 特别是权空间的维数较高，误差E是一个高维极其复杂的曲面----称误差曲面。它有三个特点： 二维权空间误差曲面 （1）存在平坦区域 （2）全局极小点不唯一 （3）存在多个局部极小点 3.5标准BP算法的改进 标准BP算法在应用中暴露出一些缺陷： （1）易形成局部极小而得不到全局最优； （2）训练次数多，学习效率低，收敛速度慢； （3）隐节点选取缺乏理论指导； （4）训练时学习新样本有遗忘旧样本的趋势。 针对上述问题，国内外已提出一些有效的改进算法。 3.5.1增加动量项（惯性调整算法） 1986年一些学者提出，标准BP算法在调整权值时，只按 t 时刻误差的负梯度方向调整，没有考虑 t 时刻以前的梯度方向，常始训练过程发生振荡，收敛慢。为提高网络的训练速度，采取在权值调整式中增加一动量项。 △W(t)=ηδX+α△W(t-1) α—动量系数，取（0，1）； 大都0.9左右。 增加动量项即从前一次权值调整量中取出一部分迭加到本次权值调整量中，反映以前积累的调整经验，对 t 时刻调整起阻尼作用。可加速收敛和防止振荡。 3.5.2自适应调整学习率 标准BP中学习率设为常数，由误差曲面可知，平坦区域为提高学习速度，η应大些，而误差变化剧烈区域η小些。提出自适应学习率。 设一初始学习率，训练一批次权值调整后，看总误差E,若E↑，则本次调整无效，且： η=βη β＜1（实际上是沿原方向重新计算下一迭代点；） 若E↓ 则本次调整有效，且： η=φη φ＞1 实现合理步长调整。 3.5.3 引入陡度因子 采用压缩激活函数来改变误差函数，从而改变误差曲面的效果。 该方法对快速离开平坦区及局部极小，提高BP算法的收敛速度很有效。 λ——陡度因子 当发现△E（误差变化）很小，且d-o仍较大，可判断已进入平坦区，此时引入陡度因子λ压缩激活函数（令λ1 ）： 使转移函数退出饱和区，而使敏感区段变长，实现加速收敛。 λ =1时，转移函数回复原状。 3.6 多层前馈网络设计基础 这一节介绍多层前馈网络开发设计中的基本方法与技术，以引导快速入门，其中关于数据准备等内容也适用于其他网络 3.6.1 网络信息容量与训练样本数 网络信息容量：网络的权值与阈值总量——nw; 网络信息容量表现网络功能强弱，反应网络映射能力。 研究表明： P≈ nw/ε P——训练样本数； nw——权、阈值总量； ε——训练精度。 表明网络信息容量与训练样本存在匹配关系。在解决实际问题时，训练样本数常难于满足上述要求。 注意实际问题中，已有训练样本情况下，合理考虑网络信息容量。如有充足样本，但nw小，则不足以表达样本中蕴含的全部规律。而nw大，样本信息少，则网络得不到充分训练。 3.6.2训练样本集的准备 训练数据的准备工作是网