神经网络学习之BP神经网络.docx

神经网络学习之BP神经网络 http://blog.csd n.n et/u013007900/article/details欢迎下载 欢迎下载 PAGE # 目录 第一章概述 第二章BP算法的基本思想 第三章BP网络特性分析 TOC \o 1-5 \h \z \o Current Document BP网络的拓扑结构 4 \o Current Document BP网络的传递函数 5 \o Current Document BP网络的学习算法 6 第四章BP网络的训练分解 \o Current Document 4.1前向传输(Feed-Forward前向反馈) 8 \o Current Document 4.2 逆向反馈(Backpropagation ) 9 \o Current Document 4.3训练终止条件 10 \o Current Document 第五章BP网络运行的具体流程 10 \o Current Document 5.1网络结构 10 \o Current Document 5.2变量定义 10 5.3误差函数： 11 \o Current Document 第六章 BP网络的设计 14 \o Current Document 6.1 网络的层数 14 \o Current Document 6.2隐层神经元的个数 14 \o Current Document 6.3初始权值的选取 15 \o Current Document 6.4学习速率 15 \o Current Document BP网络的局限性 15 \o Current Document BP网络的改进 15 第一章概述 神经网络是1986年由Rumelhart和McCelland为首的科研小组提出， 参见他们发表在 Nature 上的论文 Learning representations by back-propagating errors 。 BP神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络 模型之一。BP网络能学习和存贮大量的 输入-输出模式映射关系，而无需事前揭示描述这种映射 关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断 调整网络的权值和阈 值，使网络的误差平方和最小。 第二章BP算法的基本思想 多层感知器在如何获取隐层的权值的问题上遇到了瓶颈。既然我们无法直接得到隐层的权 值，能否先通过输出层得到输出结果和期望输出的误差来间接调整隐层的权值呢？ BP算法就是 采用这样的思想设计出来的算法，它的基本思想是，学习过程由信号的正向传播与误差的反向传播 两个过程组成。 ? 正向传播时，输入样本从输入层传入 ，经各隐层逐层处理后，传向输出层。若输出层的实际 ，并将误差分摊给各层的所有输出与期望的输出（教师信号）不符, ，并将误差分摊给各层的所有 ? 反向传播时，将输出以某种形式通过隐层向输入层逐层反传 单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。 这两个过程的具体流程会在后文介绍。 BP算法的信号流向图如下图所示 X卜0童(86° X 卜0童 (8 6° I;.欢迎下载 I;. 欢迎下载 PAGE # 第三章BP网络特性分析我们分析一个ANN时，通常都是从它的三要素入手，即1）网络拓扑结构；2）传递函数； 第三章BP网络特性分析 我们分析一个 ANN时，通常都是从它的三要素入手，即 1）网络拓扑结构； 2）传递函数； 3）学习算法。 坤经亍丸函数 网蜡拓扑结构 ANN三要素 后小均方茎OJ LMS} 有导听学习.. 相关宁习理JW 连接权脩及学习算法. 虚绞垂划器规则 Hcbb?；S 脏右为王芋习理则 每一个要素的特性加起来就决定了这个 ANN的功能特性。所以，我们也从这三要素入手对 BP网络的研究。 BP网络的拓扑结构 上一次已经说了， BP网络实际上就是多层感知器，因此它的拓扑结构和多层感知器的拓扑 结构相同。由于单隐层（三层）感知器已经能够解决简单的非线性问题，因此应用最为普遍。三 层感知器的拓扑结构如下图所示。 一个最简单的三层 BP: □三层RP网络 揃入层 瞎含厩 掃出层 欢迎下载 欢迎下载 PAGE # BP网络的传递函数 其特点是函数BP网BP网络采用的传递函数是非线性变换函数 一一Sigmoid函数（又称 其特点是函数 BP网 单极性S型函数曲线如下图所示。 /（X）= —— 八7 1十吒- 双极性S型函数曲线如下图所示。 BP网络的学习算法 BP网络的学习算法就是 BP算法，又叫 3算法（在ANN的学习过程中