东北大学数学模型报告.docx

东 北 大 学

研究生考试试卷

评

评

分

考试科目：数学模型课程编号：

阅卷人：考试日期：姓名：

学号：

注 意 事 项

考前研究生将上述项目填写清楚

字迹要清楚，保持卷面清洁

交卷时请将本试卷和题签一起上交

东北大学研究生院

-

-PAGE1-

数学模型在BP神经网络中的应用

绪论

人工神经网络(简称神经网络)是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型．这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的．人工神经网络具有复杂模式和进行联想、推理记忆的功能，它能够解决某些传统方法所无法解决的问题．目前，它日益受到重视，同时其他学科的发展，为其提供了更大的机会．1986年，Rumelhart和McCelland提出了按误差逆传播的算法(ErrorBackPropagationAlgorithm，简称BP算法)，BP神经网络则是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一．

BP网络具有初步的自适应与自组织能力．在学习或训练过程中改变突触权重值，以适应周围环境的要求．同一网络因学习方式及内容不同可具有不同的功能．BP网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平．通常，它的学习训练方式可分为两种：一种是有监督或称有导师的学习，利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无导师学习，只规定学习方式或某些规则，具体的学习内容跟随系统所处环境（即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能．

由于具有结构简单、工作状态稳定、易于硬件实现等优点，在众多的神经网络模型中，BP网络的应用最为广泛，尤其是在图像处理、模式识别、故障智能诊断、最优预测、分类及函数拟合等方面．

BP网络的研究内容相当广泛，反映了多学科交叉技术领域的特点．目前，主要的研究工作集中在以下几个方面：

生物原型研究．从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理．

建立理论模型．根据生物原型的研究，建立神经元、神经网络的理论模型．其中包括概念模型、知识模型、物理化学模型、数学模型等．

网络模型与算法研究．在理论模型研究的基础上构作具体的神经网络模型，以

实现计算机模拟或准备制作硬件，包括网络学习算法的研究．这方面的工作也称为技术模型研究．

人工神经网络应用系统．在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等．

本文是一篇综述性文章，主要研究内容是BP神经网络，首先介绍BP神经网络的基本原理，归纳出BP神经网络的相关数学模型，再对BP神经网络在计算机和控制相关领域的应用做了一个简要介绍，最后对BP神经网络的缺点进行改进和展望．

BP神经网络基本原理

z1xy1f1f1…?

z1

x

y

1

f1

f

1

…

?…

2

输

…

z

入

变量

k

x

i

f

y

v

ki

1

f

2

…

…

输

出

j变

量

…

z

wjk

p

x

n

f

1

f

?

2

y

m

输入层

隐含层

输出层

图1BP神经网络结构

图中：x

i

表示输入层第i个节点的输入，i?1,...,n；

v 表示隐含层第k个节点到输入层第i个节点之间的权值，k?1,...,q；

ki

f表示隐含层的激励函数；f

1 2

表示输出层的激励函数；

w 表示输出层第j个节点到隐含层第k节点之间的权值，j?1,...,m．

jk

BP神经网络，即误差反向传播算法的学习过程，主要包括两个阶段：由信息的正向传播和误差的反向传播．正向传播即给出输入信息通过输入层经隐含层逐层处理并计算每个单元的实际输出值．反向传播即首先由输出层开始逐层计算个层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。

正向传播：

隐含层节点的输出为

输出层节点的输出为

z ?f

k 1

(?n

i?0

v x

kii

) （1）

y ?f

j 2

(?q

k?0

w z

jk k

) （2）

这样，BP网络就完成了n维空间向量对m维空间的近似映射．

反向传播

输入P个学习样本，yP为输出，tP为期望输出，则第P个样本的误差E 为

j j p

1m

2E ? ?(tP?