人工神经网络课程nn04.ppt

马尽文 第2章 前馈型人工神经网络 M-P模型 感知机模型与学习算法 多层感知机网络 自适应线性单元与网络 非线性连续变换单元组成的前馈网络 BP算法 2.3 非线性连续变换单元组成的网络 由非线性连续变换单元组成的前馈网络，简称为BP(Back Propagation) 网络。 网络的结构与数学描述 (i). 非线性连续变换单元 对于非线性连续变换单元，其输入、输出变换函数是非线性、单调上升、连续的即可。但在BP网络中，我们采用S型函数： 2.3 非线性连续变换单元组成的网络 函数 是可微的，并且 这种函数用来区分类别 时，其结果可能是一种模 糊的概念。当 时，其 输出不是1， 而是大于0.5的一个数，而当 时，输出是一个小于0.5的一个数。若用这样一个单元进行分类，当输出是0.8时，我们可认为属于A类的隶属度（或概率）为0.8时，而属于B类的隶属度（或概率）为0.2。 2.3 非线性连续变换单元组成的网络 (ii). 网络结构与参数 下面以四层网络为例 来介绍BP网络的结构和 参数，一般情况类似。 2.3 非线性连续变换单元组成的网络 网络的输入输出关系为： 显然可以将阈值归入为特别的权，从而网络的参数可用 表示（ 为一个集合）。上述网络实现了一个多元连续影射： 2.3 非线性连续变换单元组成的网络 (iii).网络的学习问题 学习的目标：通过网络(或 )来逼近一个连续系统，即连续变换函数 。 学习的条件：一组样本（对） 对于样本对 ，存在 使得 对于所有样本的解空间为： 2.3 非线性连续变换单元组成的网络 (iv). Kolmogorov定理 Kolmogorov定理(映射神经网络存在定理，1950s) 给定任何连续函数 ，则 能够被一个三层前馈神经网络所实现，其中网络的隐单元数为 。 注意：定理未解决构造问题。 2.3 非线性连续变换单元组成的网络 2. BP学习算法 (i).基本思想 BP算法属于 学习律，是一种有监督学习： 对于辅助变量并将阈值归入权参数： 则有： 2.3 非线性连续变换单元组成的网络 考虑第 个样本的误差： 进一步得总误差： 引入权参数矩阵： 和总权参数向量： 2.3 非线性连续变换单元组成的网络 根据总误差得到一般性的梯度算法： 终止规则： 这里用梯度法可以使总的误差向减小的方向变化，直到 或梯度为零结束。这种学习方式使权向量 达到一个稳定解，但无法保证 达到全局最优，一般收敛到一个局部极小解。 2.3 非线性连续变换单元组成的网络 (ii). BP算法的推导 令 为迭代次数，则得一般性梯度下降法： 其中 为学习率，是一个大于零的较小的实数。 先考虑对于 的偏导数： 2.3 非线性连续变换单元组成的网络 在上式中， 为第 个样本输入网络时， 的对应值。另外 令 则： 为了方便，引入记号： 2.3 非线性连续变换单元组成的网络 对于 的偏导数，我们有： 2.3 非线性连续变换单元组成的网络 这样我们有： 类似的推导可得： (iii). BP算法 Step 1. 赋予初值： Step 2. 在 时刻，计算 及其广义误差 2.3 非线性连续变换单元组成的网络 Step 3. 修正权值： Step 4. 计算修正后的误差： 若 ，算法结束，否则返回到Step 2。 2.3 非线性连续变换单元组成的网络 BP算法的讨论：a). 这里的梯度是对于全部样本求的，因此是一种批处理算法，即 Batch-way，它符合梯度算法，稳定地收敛到总误差的一个极小点而结束。(注意：按总误差小于 可能导致算法不收敛.) b). 实际中更常用的是对每个样本修改，即自适应算法，当每次样本是随机选取时，可通过随机逼近理论证明该算法也是收敛的。特点是收敛速度快。C). 为了使得算法既稳定，又具有快的收敛速度，可以使用批处理与自适应相补充的算法，即选取一组样本（远小于全部样本）进行计算梯度并进行修正，其它不变。 2.3 非线性连续变换单元组成的网络 3. BP网络误差曲面的特性 BP网络的误差公式为： 是一种非线性函数，而多层的BP网络中 又是上一层神经元状态的非线性函数，用 表示其中一个样本对应的误差，则有： 可见， 与 有关，