BP神经网络课件.ppt

反向传播网络(Back—Propagation Network，简称BP网络)是对非线性可微分函数进行权值训练的多层网络。 BP网络是一种多层前向反馈神经网络，其神经元的变换函数是S型函数，因此输出量为0到1之间的连续量，它可以实现从输入到输出的任意的非线性映射。 由于其权值的调整采用反向传播（Backpropagation）的学习算法，因此被称为BP网络。 BP网络主要用于： 1)函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近—个函数； 2)模式识别：用一个特定的输出矢量将它与输入矢量联系起来； 3)分类：把输入矢量以所定义的合适方式进行分类； 4)数据压缩：减少输出矢量维数以便于传输或存储。 感知器和BP网络的主要差别在激发函数上：前者是二值型的，后者是连续可微型的。 BP网络具有一层或多层隐含层，除了在多层网络上与前面已介绍过的模型有不同外，其主要差别也表现在激发函数上。 BP网络的激发函数必须是处处可微的，所以它就不能采用二值型的阀值函数{0，1}或符号函数{—1，1}，BP网络经常使用的是S型的对数或正切激发函数和线性函数。 只有当希望对网络的输出进行限制，如限制在0和1之间，那么在输出层应当包含S型激发函数，在一般情况下，均是在隐含层采用S型激发函数，而输出层采用线性激发函数。 BP算法属于δ算法，是一种监督式的学习算法。 算法4-1 基本BP算法 1 for k=1 to L do 1.1 初始化W(k)； 2 初始化精度控制参数ε； 3 E=ε+1; 4 while Eε do 4.1 E=0; 算法4-1 基本BP算法 4.2 对S中的每一个样本（Xp,Yp）： 4.2.1 计算出Xp对应的实际输出Op； 4.2.2 计算出Ep； 4.2.3 E=E+Ep； 4.2.4 根据相应式子调整W(L)； 4.2.5 k=L-1； 4.2.6 while k≠0 do 4.2.6.1 根据相应式子调整W(k)； 4.2.6.2 k=k-1 4.3 E=E/2.0 五、BP网络的主要能力 (1)非线性映射能力 多层前馈网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 (2)泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。 (3)容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。 六、标准BP算法的改进 标准的BP算法在应用中暴露出不少内在的缺陷： ⑴ 易形成局部极小而得不到全局最优； ⑵ 训练次数多使得学习效率低，收敛速度慢； ⑶ 隐节点的选取缺乏理论指导； ⑷ 训练时学习新样本有遗忘旧样本的趋势。 针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中3种较常用的方法。 1 增加动量项 α为动量系数，一般有α∈(0，1) 2 自适应调节学习率 设一初始学习率，若经过一批次权值调整后使总误差↑，则本次调整无效，且?=β?(β0 )； 若经过一批次权值调整后使总误差↓，则本次调整有效，且?=θ? (θ0 )。 3 引入陡度因子 实现这一思路的具体作法是，在原转移函数中引入一个陡度因子λ 七、 BP网络设计基础 1 、训练样本集的准备 1）输入输出量的选择 输出量代表系统要实现的功能目标，例如系统的性能指标，分类问题的类别归属，或非线性函数的函数值等等。 输入量必须选择那些对输出影响大且能够检测或提取的变量，此外还要求各输入变量之间互不相关或相关性很小，这是输入量选择的两条基本原则。 从输入、输出量的性质来看，可分为两类：一类是数值变量，一类是语言变量。 数值变量的值是数值确定的连续量或离散量。 语言变量是用自然语言表示的概念，其“语言值”是用自然语言表示的事物的各种属性。当选用语言变量作为网络的输入或输出变量时，需将其语言值转换为离散的数值量。 2） 输入量的提取与表示 (1)文字符号输入 XC=(111100111)T XI=(010010010)T XT=(111010010)T (2)曲线输入 p=1,2,…,P (