BP算法及其优缺点讲解学习.ppt

输入量的选择 ? 输入量选择的两条基本原则 ? 必须选择那些对输出影响大且能够检测或提取 的变量 ? 各输入变量之间互不相关或相关性很小 一 ? 训 练 样 本 集 的 准 备 BP 算法及其优缺点 －－误差反传（ Error Back Propagation ） 算法的改进与 BP 网络设计 基于 BP 算法的多层感知器的模型 ? 三层 BP 网络 o 1 … o k … o l W 1 ○ W k ○ W l ○ y 1 ○ y 2 ○ … ○ y j … ○ y m V 1 V m ○ ○ ○ ○ ○ x 1 x 2 … x i … x n-1 x n 输入层 隐层 输出层 模型的数学表达 输入向量： X =( x 1 ,x 2 ,…,x i ,…,x n ) T 隐层输出向量： Y =( y 1 ,y 2 ,…,y j ,…,y m ) T 输出层输出向量： O =( o 1 ,o 2 ,…,o k ,…,o l ) T 期望输出向量： d =( d 1 , d 2 ,…,d k ,…,d l ) T 输入层到隐层之间的权值矩阵： V= ( V 1 , V 2 ,…, V j ,…, V m ) 隐层到输出层之间的权值矩阵： W= ( W 1 , W 2 ,…, W k ,…, W l ) 各个变量之间如何建立联系，来描述整个网络？ 神经网络的学习 ? 学习的过程： ? 神经网络在外界输入样本的刺激下不断改变网络的连 接权值乃至拓扑结构，以使网络的输出不断地接近期 望的输出。 ? 学习的本质： ? 对可变权值的动态调整 ? 学习规则： ? 权值调整规则，即在学习过程中网络中各神经元的连 接权变化所依据的一定的调整规则。 ? BP 算法是一种学习规则 ) ( )] ( ) ( ) ( [ t t d , t , t r j j j X X W W ? ? ? BP 算法的基本思想 ? 学习的类型：有导师学习 ? 核心思想： ? 将输出误差 以某种形式 通过隐层向输入层逐层反传 ? 学习的过程： ? 信号的正向传播 误差的反向传播 将误差分摊给各层的所有 单元－－－各层单元的误 差信号 修正各单元权 值 BP 算法的学习过程 ? 正向传播： ? 输入样本－－－输入层－－－各隐层－－－输出层 ? 判断是否转入反向传播阶段： ? 若输出层的实际输出与期望的输出（教师信号）不符 ? 误差反传 ? 误差以某种形式在各层表示－－－－修正各层单元的权 值 ? 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 建立权值变化量与误差之间的关系 ? 输出层与隐层之间的连接权值调整 ? 隐层和输入层之间的连接权值调整 jk jk w E w ? ? ? ? ? ? j=0,1,2,…,m; k=1,2,…,l (3.4.9a) ij ij v E v ? ? ? ? ? ? i=0,1,2,…,n; j=1,2,…,m (3.4.9b) 式中负号表示梯度下降，常数 η ∈ ( 0,1 ) 表示比例系数，反映了训 练速率。可以看出 BP 算法属于 δ 学习规则类，这类算法常被称为 误差的梯度下降 (Gradient Descent) 算法。 初始化 V 、 W 、 E min , 、 η q=1 ， p=1,E=0 输入样本，计算各层输出： m 2 1 j f y T j j ,..., , ), ( ? ? X V l 2 1 k f o T j k ,..., , ), ( ? ? Y W 计算误差： ?? ? ? ? ? P 1 p l 1 k 2 k k o d 2 1 E ) ( 计算各层误差信号： l 2 1 k o o 1 o d k k k k ,..., , , ) )( ( δ o k ? ? ? ? m 2 1 j y y 1 w j j l 1 k jk o