BP神经网络基本原理+很清楚.pdfVIP

5.4 BP 神经网络的基本原理 BP （Back Propagation ）网络是 1986 年由 Rinehart 和 McClelland 为首的科学家小组提出， 是一种按误差逆传播算 法训练的多层前馈网络， 是目前应用最广泛的神经网络模型 之一。BP网络能学习和存贮大量的输入 - 输出模式映射关系， 而无需事前揭示描述这种映射关系的数学方程。 它的学习规 则是使用最速下降法， 通过反向传播来不断调整网络的权值 和阈值，使网络的误差平方和最小。 BP神经网络模型拓扑结 构包括输入层（ input ）、隐层 (hide layer) 和输出层 (output layer) （如图5.2 所示）。 5.4.1 BP 神经元 图 5.3 给出了第 j 个基本 BP神经元（节点），它只模仿了生物神经元所具有的三个最基本 1 2 i n 也是最重要的功能： 加权、求和与转移。 其中 x 、x …x …x 分别代表来自神经元 1、2…i …n 的输入；wj1 、wj2 …wji …wjn 则分别表示神经元 1、2…i …n与第 j 个神经元的连接强度，即权 值； b 为阈值 ；f( ·) 为传递函数； y 为第 j 个神经元的输出。 j j 第 j 个神经元的净输入值 为： （5.12 ） 其中： 若视 ， ，即令 及 包括 及 ，则 1 / 13 于是节点 j 的净输入 可表示为： （5.13 ） 净输入 通过传递函数（ Transfer Function ）f ( ·) 后，便得到第 j 个神经元的 输出 : （5.14 ） 式中 f( ·) 是单调上升函数，而且必须是有界函数，因为细胞传递的信号不可能无限增加， 必有一最大值。 5.4.2 BP 网络 BP算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。正向传播 时，传播方向为输入层→隐层→输出层，每层神经元的状态只影响下一层神经元。 若在输 出层得不到期望的输出，则转向误差信号的反向传播流程 。通过这两个过程的交替进行， 在权向量空间执行误差函数梯度下降策略 ，动态迭代搜索一组权向量，使网络误差函数达 到最小值，从而完成信息提取和记忆过程。 5.4.2.1 正向传播 设 BP 网络的输入层有 n 个节点， 隐层有 q 个节点， 输出层有 m个节点，输入层与隐层之间 2 / 13 的权值为 ，隐层与输出层之间的权值为 ，如图 5.4 所示。隐层的传递函数为 f 1( ·) ， 输出层的传递函数为 f 2( ·) ，则隐层节点的输出为（将阈值写入求和项中）： k=1,2, ……q （5.15 ） 输出层节点的输出为