改进的bp算法梯度下降法的不足-北京科技大学自动化学院.ppt

2006-12-6 北京科技大学 自动化系 付冬梅 5-1 网络结构和模型 5-1 网络结构与模型 5-2 BP网络的学习算法 　 多层前馈网络的反向传播 （BP）学习算法，简称BP学习算法，这是一种有导师的学习算法，是梯度下降法在多层前馈网中的应用。 BP学习算法可以看成是线性自适应神经元学习算法的进一步推广。 网络结构 输入层有n个神经元，隐含层有p个神经元，输出层有q个神经元。 变量定义 输入向量; 隐含层输入向量； 隐含层输出向量; 输出层输入向量; 输出层输出向量; 期望输出向量; 输入层与中间层的连接权值: 隐含层与输出层的连接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激活函数: 误差函数： 第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。 第二步,随机选取第 个输入样本及对应期望输出 第三步，计算隐含层各神经元的输入和输出 第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数 。 第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权值 。 第八步，计算全局误差 第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算