人工神经网络4第四章多阶层NN与误差逆传播算法.ppt

4.1多阶层NN与误差逆传播算法的提出 感知机存在的问题：只适用线性模式的识别， 对非线性模式的识别需加 入隐层，但又无有效的学 习规则。 Rumelhart.McCelland 在1986年出版《Parallel Distributed Processing》完整提出了误差反向传播 法。 Error Back—Propagation —BP算法 4.2 BP NN 结构与学习规则 典型BP NN 为三层，输入、隐含、输出层。 BP的学习过程： ①模式顺传播过程：模式由输入层、中间层向输出层的传播。 ②误差反向传播过程：希望值与实际值之差由输出层、中间层向输入层逆向传播。 ③记忆训练过程：①、②交替。 ④学习收敛过程：向误差极小值过程。 ⑴模式的顺传播 设输入模式： k=1,2,…,m m：学习模式对数；n：输入层单元个数 希望输出模式： q：输出单元个数 中间层单元的输入 j=1,2,…,p ：输入层至中间层的连接权 ：中间层单元的阈值 p ：中间层单元的个数 4.2 BP NN 结构与学习规则 神经元的非线性特性：Ｓ函数（Sigmoid) X-5 f(x)?0 x5 f(x)?1 S：要求可微性，而且有饱和的非线性特性。S的阶跃比较平滑。 4.2 BP NN 结构与学习规则 中间层单元的输出： j=1,2,…,p 使Ｓ曲线向右平行移动 个单位，调节神经元兴奋水平的 作用。 输出层各单元的输入、输出： t=1,2,…,q ：中间层至输出层连接权 ：输出层单元阈值 4.2 BP NN 结构与学习规则 ⑵误差的逆传播 计算输出层的校正误差 t=1,2,…,q k=1,2,…,m 计算中间层各单元的校正误差： j=1,2,…,p k=1,2,…,m 中间单元的校正误差都是q个输出单元校正误差传递而产生 的权值调整。 α，β 学习系数 t=1,2,…,q k=1,2,…,m i=1,2,…,n j=1,2,…,p k=1,2,…,m 4.2 BP NN 结构与学习规则 4.2 BPNN结构与学习规则 ⑶训练过程： 随着“模式顺传播”与误差逆传播过程的反复进行，网络的实际输出逐渐向各自所对应的希望输出逼近。 ⑷收敛过程： 网络全局误差趋于极小值的过程。 全局误差：