bp神经网络教案解析.pptVIP

BP人工神经网络 上海大学 郑学元 zh.xue.yuan@ 演讲内容 人工神经网络原理概述 MP人工神经网络算法 BP人工神经网络 演示 一、人工神经网络原理概述 神经元 神经元工作方式 细胞之间通过树突、轴突等相互连接，通过电流、化学物质等相互通信 细胞受到外部刺激以后做出相应的动作 细胞之间的连接在学习过程中不断调整 许多神经元的连接集中在一起形成神经网络，具有记忆、运算、联想等功能。 人工神经网络 Artificial Neural Network（ANN），常常简称为神经网络、NN 是一种模拟生物神经网络一些特性，抽象简化神经网络的工作方法实现的一种计算系统。 与其他“算法”不同，NN并不是解决某种特定问题的计算过程。 基础工作原理 神经网络是一个并行和分布式的信息处理网络结构。它一般由大量神经元组成，每个神经元只有一个输出，可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数 NN的基本功能 联想记忆 非线性映射 分类与识别 优化计算 知识处理 二、MP人工神经网络算法 MP模型 MP模型 u为一组输入，w为对应输入的权，经过作用函数运算，与阈值θ做比较，大于输出1，小于输出0。 MP模型 求和： 作用函数： MP模型 激发函数的基本作用： 控制输入对输出的激活作用，对输入、输出进行函数转，将可能无限域的输入变换成指定的有限范围内的输出 可知当神经元i的输入信号加权和超过阈值时，输出为“1”即“兴奋”状态，反之输出为“0”是“抑制”状态。 MP模型的一个例子 实现逻辑与门 模型： MP模型的一个例子 输入训练数据以后，神经元根据反馈和预设的步进调整内部的阈值，当达到稳定时迭代结束。 计算过程是自动的，我们无需关心内部实现的具体算法。 我们喝杯咖啡，机器自己完成工作，这个主意实在是太棒了。 三、BP人工神经网络 什么是BP神经网络 反向传播算法 （back propagation algorithm） 从结构上讲, BP 网络是一种分层型网络, 由输入层、隐层和输出层组成。 层与层之间采用全互连方式, 同一层的单元之间则不存在相互连接。 隐层可以有一个或多个。 数学理论已证明它具有实现任何复杂非线性映射的功能。 BP神经网络模型 BP神经元的作用函数为非线性函数 隐层可以具有多层，一般是在三层以上 误差传播使用梯度下降算法 BP神经网络模型 输入层与隐层的关系： 2)隐层与输出层的关系： BP网络的学习方法 它是一种监督学习的方法 BP算法利用梯度下降法来求权值的变化及 误差的反向传播 BP网络的学习方法 假定我们有q个带label的样本p1,p2,…,pq，对应的即期望输出为T1,T2,…,Tq，神经网络的实际输出为a21,a22,…,a2q，隐层的输出为a1[.]那么可以定义误差函数： BP网络的学习方法 我们首先计算输出层的权值的变化量，从第i个输入到第k个输出的权值改变为： 其中η为学习速率 同理可得 BP网络的学习方法 隐层的权值变化为： 其中 同理可得： BP网络的学习方法 这里我们注意到，输出层的误差为ej,j=1..n，隐层的误差为ei,i=1..m，其中ei可以认为是ej的加权组合，由于作用函数的 存在，ej的等效作用为δji=ejf′()。 BP网络的设计 网络的层数理论已经证明，具有偏差和至少一个S型隐层加上一个线性输出层的网络，能够逼近任何有理函数，增加层数可以进一步降低误差，提高精度，但同时也是网络 复杂化。另外不能用仅具有非线性激活函数的单层网络来解决问题，因为能用单层网络解决的问题，用自适应线性网络也一定能解决，而且自适应线性网络的 运算速度更快，而对于只能用非线性函数解决的问题，单层精度又不够高，也只有增加层数才能达到期望的结果。 BP网络的设计 隐层神经元的个数网络训练精度的提高，可以通过采用一个隐含层，而增加其神经元个数的方法来获得，这在结构实现上要比增加网络层数简单得多。一般而言，我们用精度和 训练网络的时间来恒量一个神经网络设计的好坏：（1）神经元数太少时，网络不能很好的学习，训练迭代的次数也比较多，训练精度也不高。（2）神经元数太多时，网络的功能越强大，精确度也更高，训练迭代的次数也大，可能会出现过拟合(over fitting)现象。由此，我们得到神经网络隐层神经元个数的选取原则是：在能够解决问题的前提下，再加上一两个神经元，以加快误差下降速度即可。 BP网络的设计 初始权值的选取一般初始权值是取值在(?1,1)之间的随机数。另外威得罗等人在分析了两层网络是如何对一个函数进行训练后，提出选择初始权值量级为s√r的策略， 其中r为输入个数，s为第一层神经元个数 BP网