20030228-hejianhua-神经网络讲义-part4-BP网络.ppt

* 3.5 期望误差值选取 在设计网络的训练过程中，期望误差值也应当通过对比训练后确定一个合适的值 这个所谓的“合适”，是相对于所需要的隐含层的节点数来确定，因为较小的期望误差值是要靠增加隐含层的节点，以及训练时间来获得 一般情况下，作为对比，可以同时对两个不同期望误差值的网络进行训练，最后通过综合因素的考虑来确定采用其中一个网络 * 3.6 应用举例 求解函数逼近问题 有21组单输入矢量和相对应的目标矢量，试设计神经网络来实现这对数组的函数关系 P=-1:0.1:1 T=[-0.96 0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 … -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 … 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201] 测试集 P2=-1:0.025:1 * 3.6 应用举例 目标矢量相对于输入矢量的图形 初始网络的输出曲线 * 3.6 应用举例 训练1000次 2000次 * 3.6 应用举例 训练3000次 5000次 * 3.7 限制与不足 需要较长的训练时间 完全不能训练 选取较小的初始权值 采用较小的学习速率，但同时又增加了训练时间 局部极小值 BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解 * 四、BP网络的改进 4.1 目标 4.2 附加动量法 4.3 误差函数改进 4.4 自适应学习速率 * 4.1 目标 加快训练速度 避免陷入局部极小值 人工神经网络及其应用第4讲 BP神经网络 何建华 电信系，华中科技大学 2003年2月28日 * 一、内容回顾 二、BP网络 三、网络设计 四、改进BP网络 五、内容小结 内容安排 * 一、内容回顾 感知机 自适应线性元件 * 一、内容回顾 感知机 感知机简介 神经元模型 网络结构 功能解释 学习和训练 局限性 自适应线性元件 * 一、内容回顾 感知机 自适应线性元件 Adline简介 网络结构 网络学习 网络训练 * 2.1 BP网络简介 2.2 网络模型 2.3 学习规则 2.4 图形解释 2.5 网络训练 二、BP网络 * 反向传播网络(Back-Propagation Network，简称BP网络)是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络 权值的调整采用反向传播(Back-propagation）的学习算法 它是一种多层前向反馈神经网络，其神经元的变换函数是S型函数 输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射 2.1 BP网络简介 * 2.1 BP网络简介 BP网络主要用于下述方面 函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数 模式识别和分类：用一个特定的输出矢量将它与输入矢量联系起来；把输入矢量以所定义的合适方式进行分类； 数据压缩：减少输出矢量维数以便于传输或存储 具有将强泛化性能：使网络平滑地学习函数，使网络能够合理地响应被训练以外的输入 泛化性能只对被训练的输入／输出对最大值范围内的数据有效，即网络具有内插值特性，不具有外插值性。超出最大训练值的输入必将产生大的输出误差 * 2.2 网络模型 一个具有r个输入和一个隐含层的神经网络模型结构 * 2.2 网络模型 感知器和自适应线性元件的主要差别在激活函数上：前者是二值型的，后者是线性的 BP网络具有一层或多层隐含层，除了在多层网络上与前面已介绍过的模型有不同外，其主要差别也表现在激活函数上。 BP网络的激活函数必须是处处可微的，因此它不能采用二值型的阀值函数{0，1}或符号函数{－1，1} BP网络经常使用的是S型的对数或正切激活函数和线性函数 * 2.2 网络模型 BP网络特点 输入和输出是并行的模拟量 网络的输入输出关系是各层连接的权因子决定，没有固定的算法 权因子通过学习信号调节。学习越多，网络越聪明 隐含层越多，网络输出精度越高，且个别权因子的损坏不会对网络输出产生大的影响 只有当希望对网络的输出进行限制，如限制在0和1之间，那么在输出层应当包含S型激活函数 在一般情况下，均是在隐含层采用S型激活函数，而