神经网络--bp.pptVIP

神经网络介绍 人工神经网络 什么是人工神经网络 1.以数学和物理方法以及信息处理的角度对现阶段所认识的人脑神经网络进行简化抽象后建立起的一种模型。 2.一种旨在模仿人脑结构及功能的脑式智能信息处理系统 3. 由许多并行工作的处理单元组成的系统，其功能取决于网络结构、连接强度以及个单元的处理方式。 神经网络基本特点 1.结构特点：信息处理的并行性、信息存储的分布性、信息处理单元的互联性、结构的可塑性。 2.性能特点：高度的非线性、良好的容错性和计算的非精确性。 3.能力特征：自学习、自组织和自适应性 基本功能 1.联想记忆（自联想、异联想） 2.非线性映射 3.分类与识别 4.优化计算 5.知识处理 BP算法 BP（Error Back Proragation）误差反传算法。 基本思想：自学习过程由信号的正向传播与误差的反向传播两个过程组成。 1）正向传播：输入样本－输入层－各隐层（处理）－输出层 　　注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程） 　　2）误差反向传播：输出误差（某种形式）－隐层（逐层）－输入层 　　其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。 基于BP算法的多层感知器模型 由于多层感知器的训练经常采用BP算法，人们把多层感知器直接称为BP网。 感知器是一种前馈神经网络，是神经网络中一种典型的结构。感知器具有分层结构，信息从输入层进入网络，逐渐向前传递至输出层。 BP学习算法 1 网络误差与权值调整(以三层感知器为例) 当网络输出与期望输出不等是，存在输出误差E，定义如下： 将上述误差展开至隐层，有 进一步展开至输入层有 由上式可以看出，网络输入误差是各层权值 的函数，因此调整权值可以改变误差E 显然，调整权值的原则是事误差不断地减小，因此应使权值的调整量与误差的梯度下降成正比，即 j=0,1,2,…..,m; k=1,2,…….l；（4a） i=0,1,2,…..,m; j=1,2,…….l （4b） BP算法推导 式（4）仅是对权值调整思路的数学表达，而不是具体的权值调整计算式。下面推导三层BP算法权值调整的计算式。实现约定，在全部的推导过程中，对输出层均有j=0,1,2,…..,m; k=1,2,…….l；对隐层均有i=0,1,2,…..,m; j=1,2,…….l 。 对于输出层，式（4a）可以写为 对隐层，式（4b可以写为） 对输出层和隐层个定义一个误差信号，令 综合输入层 和式（6a）可将式（5a）权值调整如下 综合隐层 和式（6b）可将式（5b）权值调整如下 可以看出，只要计算出式（8）中的误差信号 和 ，权值调整量的计算推导即可完成。下面继续推导如何计算这两个误差信号。 对于输出层， 可以展开为 对于隐层， 可以展开为 再求式（8）中各层输出的偏导。 对输出层，利用式（1）可得 对隐层，利用式（2）可得 将上述结果代入式（8），并利用 得 对两个误差信号的推导已完成，将式（10）代入式（7）中，得到三层感知器的BP学习算法权值调整计算公式为 对于一般多层感知器，设共有h个隐层，按前向顺寻个隐层节点数分别记为m1,m2…….mh,各隐层输出分别为 ，个层权值矩阵分别 ，则各层权值调整计算公式为 BP算法的程序实现 1）初始化 2）输入训练样本对，计算各层输出 3）计算网络输出误差 4）计算各层误差信号 5）调整各层权值