天大智能控制.ppt

天津大学自动化学院 * 智能控制系统 天津大学电气与自动化工程学院 六 天津大学自动化学院 2.2 BP网络 Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法 2.前向网络及其主要算法 J. McClelland David Rumelhart 天津大学自动化学院 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 结构：多层前向网络。 2.前向网络及其主要算法 天津大学自动化学院 2.前向网络及其主要算法 图3-9 BP网络 天津大学自动化学院 激发函数 必须处处可导,一般都使用S型函数 使用S型激活函数时BP网络输入与输出关系 输入 输出 输出的导数 2.前向网络及其主要算法 天津大学自动化学院 2.前向网络及其主要算法 天津大学自动化学院 学习算法 学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 算法组成：正向传播 + 反向传播 （输入信息）（误差信号） 2.前向网络及其主要算法 将误差分摊给各层的所有单元－－－各层单元的误差信号 修正各单元权值 天津大学自动化学院 2.前向网络及其主要算法 正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示－－－－修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 天津大学自动化学院 算法步骤 网络结构：输入层有M个神经元，隐含层有q个神经元, 输出层有L个神经元。 学习样本：设有N个学习样本，每个学习样本包括M个输入和L个输出。通过学习使BP网络符合这些样本。以学习第p个样本为例（输入量为Xp,期望输出为Dp）: 2.前向网络及其主要算法 天津大学自动化学院 前馈计算 隐含层第j个节点的输入可写为 第j个节点的输出为 其中 为激发函数，可取sigmoid函数形式，则 2.前向网络及其主要算法 天津大学自动化学院 输出层第k个节点的输入可写为 则输出层第k个节点的输出为 当实际输出与期望输出不一致时，进入反向传播阶段将误差信号反向传播，修改权值。 反向传播 对第p个样本，定义二次型误差函数。 方便起见，以下省略下标p 2.前向网络及其主要算法 天津大学自动化学院 学习的过程即是调节权值使得E最小的过程，在BP算法中采用一阶梯度法（最速下降法）。 输出层权系数的调整： 为学习速率 定义反向误差传播信号 2.前向网络及其主要算法 天津大学自动化学院 故 又有 故 2.前向网络及其主要算法 天津大学自动化学院 隐层权系数的调整： 定义反向误差传播信号 其中 2.前向网络及其主要算法 天津大学自动化学院 又有 故 有 则可得 加入样本标号p，可写为 2.前向网络及其主要算法 天津大学自动化学院 BP算法的几个问题： 权值初值应设为较小的随机数 采用s型激发函数时，期望输出不能设为1或0, 应设为0.9或0.1 学习速率在开始时可取大值，后期取小值。 2.前向网络及其主要算法 天津大学自动化学院 BP算法直观解释： 情况一直观表达 当误差对权值的偏 导数大于零时，权值 调整量为负，实际输 出大于期望输出， 权值向减少方向调整， 使得实际输出与期望 输出的差减少。 2.前向网络及其主要算法 wij E 0，此时Δwij0 天津大学自动化学院 BP算法直观解释 情况二直观表达 当误差对权值的偏导数 小于零时，权值调整量 为正，实际输出少于期 望输出，权值向增大方 向调整，使得实际输出 与期望输出的差减少。 2.前向网络及其主要算法 E 0, 此时Δwij0 wij 天津大学自动化学院 例 1. 见教材P 107 例 2. 对于下图所示双输入双输出神经网络，给定样本X=[1,3]T