8-4 人工神经网络.pdf

神经网络 1943年McCulloch和Pitts提出神经元的 1 数学模型，即MP模型。 1957年Rosenblatt设计制作了“感知机”。这 2 是第一个多层的人工神经网络。第一个高潮期。 3 1969年之后进入低潮。 1980年以后重新进入高潮，并得到蓬 4 勃的发展。 5 目前人们普遍认为突破图林机模型的将是 人工神经网络。这是下一代计算机的主体。 神经元 右图是一个神经元： 神经元的构造为若干根输入的突 轴和一根输出的树轴。 神经元可以有抑制和激活这两种状 态。当输入的信号达到一定的程度， 神经元便被激活产生输出信号。 神经元的数学模型(MP模型) 右图是MP模型的示意图： y = f(∑ w x – ) i i i 其中：f 称为激活函数， 为阈值，w 为权重。 i 激活函数的形式通常有两种形式： 人工神经网络 人工神经网络就是人工神经元所构成的网络。主要有前馈网 络和反馈网络两种形式。 前馈网络有若干层神经元组成，第i层的神经元只接受第i–1 层输出的信息，而不接受同层或高层的输出信息。 反馈网络中的神经元可以接受外加输入和其它神经元包括自 身的反馈输入。 人工神经网络 神经元的计算主要依赖于权重w ，而权重w 是通过学习 i i 获得的。 所谓学习(又称训练)是首先给权重赋予一个初值，然后将大 量的训练样板(包括正例和反例)输入计算机，人工神经网络 自己不断地调整相应的权重。 学习的方式主要分为： 监督的学习 自适应的学习 BP神经网络 BP神经网络是一个三层前馈网络，分别为输入层LA ，隐含层LB 和输出层L 。每层分别有若干个神经元。如下图所示： C BP学习算法 BP网络的学习算法是一种监督的学习过程。它是一个误差逆 向分配调整的过程。 BP学习算法的步骤如下： (1) 初始化：给L 和L 中的神经元随机赋予权重w 和阈值 。 B C ij i (2) 依次输入训练样本，并根据该训练样本调整LB 和LC 中每个 神经元权重和阈值。 (3) 重复第(2)步直到误差足够小或为零。 BP学习算法中的逆向误差调整 ①计算L 层的实际输出b = f(w x – ) ； B i ij i i ②计算L 层的实际输出y = f(∑ w’ b – ); C j i ij i j ③计算L 层的输出误差e’ = y (1–y )(d –y ); C j j j j j ④计算L 层的输出误差e = y (1–y ) ∑ w’ e’ ; B j j j i ij i ⑤调整L 层到L 层的权重w’ b e’ ; B