BP神经网络模型简介及相关优化案例.docx

华东理工大学 2016-2017 学年第 2 学期 研究生《 石油化工单元数学模型 》课程论文 2017 年 6 月 开课学院： 化工学院 任课教师： 欧阳福生 考生姓名： 丁桂宾 学号： 成绩： 论文题目： BP 神经网络模型简介及相关优化案例 论文要求： 教师评语： 教师签字： 年 月 日 1 / 9 j j BP 神经网络模型简介及相关优化案例 一、神经网络模型简介 现代神经生理学和神经解剖学的研究结果表明，人脑是极其复杂的，由约 1010 个神经元交织在一起，构成一个网状结构。它能完成诸如智能、思维、情绪 等高级精神活动，被认为是最复杂、最完美、最有效的一种信息处理系统。人工 神经网络（ Artificial Neural Networks ，以下简写为 NN ）是指模拟人脑神经系统 的结构和功能， 运用大量的处理部件， 通过数学方法， 由人工方式构造的网络系 统 [1]。 图 1 表示作为 NN 基本单元的神经元模型，它有三个基本要素 [2]： （1） 一组连接权（对应于生物神经元的突触），连接强度由各连接上的权 值表示，权值为正表示激励，为负表示抑制。 （2） 一个求和单元，用于求取各输入信息的加权和（线性组合）。 （3） 一个非线性激励函数， 起非线性映射作用并限制神经元输出幅度在一 定的范围内（一般限制在 [0,1]或[-1,+1] 之间）。 图 1 此外还有一个阈值 k （或偏置 bk uk u 神经元模型 k ）。以上作用可以用数学式表达为： P wkj x j ； 2 / 9 k uk k ； yk (vk ) 式中 x1 , x2 , x3 ,..., xP 为输入信号， wk1 , wk 2 , wk3 ,..., wkP 为神经元 k 的权值， 线性组合结果， k 为阈值。 (.) 为激励函数， yk 为神经元 k 的输出。 uk 为 神经网络理论突破了传统的、 串行处理的数字电子计算机的局限， 是一个非 线性动力学系统， 并以分布式存储和并行协同处理为特色， 虽然单个神经元的结 构和功能极其简单有限， 但是大量的神经元构成的网络系统所实现的行为却是极 其丰富多彩的。 3 / 9 [3] [3] 二、 BP 神经网络模型 BP 网络(Back-Propagation Network)，即反向传播网络，是一种将 W-H 学习 规则一般化， 对非线性可微分函数进行权值训练的多层网络权值的调整采用反向 传播(Back-propagation）的学习算法。它是一种多层前向反馈神经网络，其神经 元的变换函数是 S 型函数输出量为 0 到 1 之间的连续量， 它可实现从输入到输出 的任意的非线性映射。 当一对学习样本提供给网络后， 神经元的激活值从输入层 经各中间层向输出层传播，在输出层的各神经元获得网络的输入响应。接下来， 按照减少目标输出与实际误差的方向， 从输出层经过各中间层逐层修正各连接权 值。最后回到输入层，这种算法称为“误差逆传播算法”，即 BP 算法。随着这 种误差逆的传播修正不断进行， 网络对输入模式响应的正确率但不断上升 。 BP 神经网络模型如图 2 图 2 BP 神经网络模型 典型的 BP 神经网络包含 3 层：输入层、隐含层、输出层，是一种前向阶 层型神经网络 [4]。 每一层由若干神经元 (节点 ) 组成， 每一个神经元的作用是计算 该神经元所有输入的权重和，并通过特定的输出函数 -激励函数输出。激励函数 一般是非减和可微函数， 为： 最常用的激励函数是 S 函数和线性函数， S 函数方程式 f ( x) 4 / 1 1 e x 9 以一个隐含层的 BP 网络为例，从输人到输出的映射过程为： nin hin , j ( wij xi ) bh , j i 1 hout , j S(hin , j ) nhid yin ,k ( wjk hou