07神经网络2.pptVIP

智能控制系统 邢关生 河北工业大学控制科学与工程学院 xinggs@ 2.前向网络及其主要算法 2.2 BP网络 Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 2.前向网络及其主要算法 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 结构：多层前向网络。 2.前向网络及其主要算法 2.前向网络及其主要算法 激发函数 必须处处可导,一般都使用S型函数 使用S型激活函数时BP网络输入与输出关系 输入 输出 输出的导数 2.前向网络及其主要算法 2.前向网络及其主要算法 学习算法 学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 算法组成：正向传播 + 反向传播 （输入信息）（误差信号） 2.前向网络及其主要算法 2.前向网络及其主要算法 算法步骤 网络结构：输入层有M个神经元，隐含层有q个神经元, 输出层有L个神经元。 学习样本：设有N个学习样本，每个学习样本包括M个输入和L个输出。通过学习使BP网络符合这些样本。以学习第p个样本为例（输入量为Xp,期望输出为Dp）: 2.前向网络及其主要算法 前馈计算 隐含层第j个节点的输入可写为 第j个节点的输出为 其中 为激发函数，可取sigmoid函数形式，则 2.前向网络及其主要算法 输出层第k个节点的输入可写为 则输出层第k个节点的输出为 当实际输出与期望输出不一致时，进入反向传播阶段将误差信号反向传播，修改权值。 反向传播 对第p个样本，定义二次型误差函数 2.前向网络及其主要算法 学习的过程即是调节权值使得E最小的过程，在BP算法中采用一阶梯度法（最速下降法）。 输出层权系数的调整： 为学习速率 定义反向误差传播信号 2.前向网络及其主要算法 故 又有 故 2.前向网络及其主要算法 隐层权系数的调整： 定义反向误差传播信号 其中 2.前向网络及其主要算法 又有 故 有 则可得 加入样本标号，可写为 2.前向网络及其主要算法 BP算法的几个问题： 权值初值应设为较小的随机数 采用s型激发函数时，期望输出不能设为1或0, 应设为0.9或0.1 学习速率在开始时可取大值，后期取小值。 BP算法直观解释： 情况一直观表达 当误差对权值的偏 导数大于零时，权值 调整量为负，实际输 出大于期望输出， 权值向减少方向调整， 使得实际输出与期望 输出的差减少。 2.前向网络及其主要算法 BP算法直观解释 情况二直观表达 当误差对权值的偏导数 小于零时，权值调整量 为正，实际输出少于期 望输出，权值向增大方 向调整，使得实际输出 与期望输出的差减少。 2.前向网络及其主要算法 例 1. 对于下图所示双输入双输出神经网络，给定样本X=[1,3]T D= =[0.95,0.05]T 求一步学习的结果。 (激励函数 , 学习效率 ） 2.前向网络及其主要算法 BP网络的优点： 非线性映射能力。能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 泛化能力。当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。 容错能力。输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。 2.前向网络及其主要算法 BP网络的缺点： BP算法的学习速度很慢 网络训练失败的可能性较大 难以解决应用问题的实例规模和网络规模间的矛盾 网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定 新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同 网络的预测能力（也称泛