BP神经网络的简要介绍及应用讲义.pptVIP

BP神经网络的简要介绍及应用 崔义新 目录 一、人工神经网络概述 1.1 人工神经网络概念 人工神经网络（Artificial Neural Networks, ANN）是由大量处理单元互联组成的非线性、自适应信息处理系统.它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理. 人工神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型.这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的. 1.3 生物学基础 1.4 人工神经网络结构 1943，神经生理学家 McCulloch 和数学家 Pitts 基于早期神经元学说，归纳总结了生物神经元的基本特性，建立了具有逻辑演算功能的神经元模型以及这些人工神经元互联形成的人工神经网络，即所谓的 McCulloch-Pitts 模型。 McCulloch-Pitts 模型（MP模型）是世界上第一个神经计算模型，即人工神经系统。 MP模型神经元是二值型神经元，其输出状态取值为1或0，分别代表神经元的兴奋和抑制状态。如果 n ＞0，即神经元输入加权总和超过某个阈值，那么该神经元兴奋，状态为1；如果n ≤0，那么该神经元受到抑制，状态为0。通常，将这个规定称为MP模型神经元的点火规则。用一数学表达式表示为： 对于MP模型神经元，权值w在（- 1，+1）区间连续取值。 取负值表示抑制两神经元间的连接强度，正值表示加强。 人工神经网络常用激活函数 二、BP神经网络简介 2.1 BP神经网络介绍 反向传播网络(Back-Propagation Network，简称BP网络)是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络； 权值的调整采用反向传播(Back-propagation）的学习算法； 它是一种多层前向反馈神经网络，其神经元的变换函数常为S型函数； 输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射； 2.5 BP神经网络的数学模型 BP神经网络正向传播 误差计算 BP神经网络反向传播 权值调整公式 输出层权值和阈值调整公式 3.应用举例 设计一个BP网络逼近函数： 由生成矩阵X,Y，带入函数中，得到矩阵Z。画出函数图像如下图： 对于法方程 由QR分解（正交三角分解）G=QR,其中Q是正交矩阵,R是上三角矩阵。将QR分解代入最小二乘解表达式中，得 X=( RTQTQR)-1(QR)Tb = R-1QTb 由此可知，用分解方法求超定方程组的最小二乘解只需求解上三角方程组 RX=QTb 优缺点比较 QR的分解的优点是，结果相对精确，过程简单。缺点是要求矩阵非奇异或者列满秩而且计算复杂且容易出错。 法方程的优点是不要求矩阵非奇异，具有一定的数值的稳定性，对于大数据矩阵计算不易出错。缺点是数值稳定性差，过程相对复杂。 The end,thank you! QR分解 设矩阵A∈Rn×n，且非奇异，则存在正交矩阵Q，非奇异上三角矩阵R，使得A=QR，称之为QR分解(QR decomposition)，且此时分解唯一。 而且此时Q=[Q1 Q2]，R=[R1;0]，其中Q1∈Rm×n满足Q1TQ1=In，R1∈Rn×n是非奇异上三角矩阵。这样分解式为A=Q1R1，称为compact QR decomp.。 QR分解的实现方式：GS/MGS，Givens变换，Householder变换。 设矩阵A∈Rm×n(mn)，且列满秩，则存在正交矩阵Q∈Rm×m，上三角矩阵R∈Rm×n，使得A=QR。 * * 模板来自于 * 人工神经网络概述 BP神经网络简介 应用举例 LU分解与法方程 Hebb规则 1949年 低潮时期 未解决“异或”问题 1969年 M-P神经网络模型 20世纪40年代 感知器(Perceptron) 模型 1957年 多层网络的误差反传(学习算法 1986年 离散的连续的神经网络模型 20世纪80年代 1.2 人工神经网络的发展 20世纪80年代中期以来 研究热点 （4）细胞体完成电化学信号整合与处理，当胞体中接受的累加刺激超过一个阈值时，胞体就被激发，此时它沿轴突通过树突向其它神经元发出信号. (1)生物神经元主要由树突、轴突、突触和细胞体组成.树突相当于信号的输入端，用于接受神经冲动. (2）轴突是由细胞体向外伸出的最长的一条分支相当于信号的输出 (3）突触是神经元之间通过轴突（输出）和树突（输入）相互联结点. 人工神经网络数学模型 . . 输入 … w2 w1 wn x2 xn 输出 y b x1 b w1 w2 wn x1 x2 xn