人工神经网络(ANN)方法简介(完整)ppt参考课件.pptVIP

线性单层前向网的解 关于基函数u(x)，对学习集的每一个数据，记： 其中? =1, 2, …, N。由此，定义学习集A的扩展集B： * 不妨假设激活函数?为恒等函数，此时网络为线性单层前向网。由此写出误差函数： 优化的目标函数为： * 根据最小二乘法求解目标函数。 由多元函数取极值的必要条件，有： * 写成矩阵形式 W: c?(d?1) U: N?(d?1) T: N?c * 解的形式为： 解存在的条件？ （略） * 2、 多层前向网络、BP学习算法 双层前向网 多层前向网的结构特点： 1、允许网络具有数层相连的处理单元； 2、联结是从前一层的每一个节点到下一层所有节点，不存在其它联结； 3、同一层内的节点之间不存在联结； 4、不含任何反馈，故输出可以用输入和权重来表示。 L层神经网络：具有L层可调节权重参数 * 1 2 M 2 1 x1 xN N x2 y1 1 2 c y2 yc W(1) W(2) 输入层 (X) 隐层 (Z) 输出层 (Y) 双层前向网模型：具有两层可调节参数且同层无联结的不含反馈的人工神经网络。 X层——输入层 Y层——输出层 Z层——隐层 两层可调节权重参数：W(1)、W(2) * 设输入层的输入为(x1, x2, …, xn)?Rn。 首先考察隐层，设隐层神经元的激活函数为?。第j个隐层神经元的整合函数为aj、输出值为zj： 第1层（隐层）权重矩阵中第i个输入联结到第j个隐神经元的权重 第j个隐神经元的阈值 1 2 M 2 1 x1 xN N x2 y1 1 2 c y2 yc W(1) W(2) 输入层 (X) 隐层 (Z) 输出层 (Y) * 同样考察输出层，设输出层神经元的激活函数为?。第k个输出神经元以z=(z1, z2, …, zM)?RM为输入，其整合函数为bk、输出值为yk： 第2层（输出层）权重矩阵中第j个隐神经元联结到第k个输出神经元的权重 第k个输出神经元的阈值 1 2 M 2 1 x1 xN N x2 y1 1 2 c y2 yc W(1) W(2) 输入层 (X) 隐层 (Z) 输出层 (Y) * 联合得到双层前向网的输出表达式： 1 2 M 2 1 x1 xN N x2 y1 1 2 c y2 yc W(1) W(2) 输入层 (X) 隐层 (Z) 输出层 (Y) 记为： * 学习的目标函数 为简化计，考虑两类的分类问题。 设A、B是分类空间Rd中两个不相交的集合。考虑离散型双层前向网T(W(1),W(2),? (1),? (2); x)，取其激活函数? 、?为符号函数sgn (u)。 该双层前向网的学习目标是，对(A, B)求(W(1),W(2),? (1),? (2))使得： 求解上述方程。 * 误差的后向传播 多层前向网的学习原理：基于适当定义的误差函数，在网络中调整权重矩阵和阈值等参数，使得误差函数极小化。 与单层前向网和感知器相比较，多层前向网由于隐层的存在，无法判别隐层神经元对输入误差的直接影响（无法知道隐层神经元的理想输出值）。因此，对参数权重矩阵和阈值的调整遇到困难。 1 2 M 2 1 ?x1 N ?y1 1 2 c ?y2 ?yc ?W(1) ?W(2) 输入层 (X) 隐层 (Z) 输出层 (Y) ?x2 ?xN * 神经元系统的基本特征 神经元及其联结 神经元之间的联结强度决定信号传递的强弱 神经元之间的联结强度可以随训练而改变 信号分为兴奋型和抑制型 一个神经元接受的信号的累计效果决定该神经元的状态 每个神经元有一个阈值 * ANN理论及其发展阶段 w1 ? Z=?wixi w2 wn x1 x2 xn y = f(?wixi- ?) 轴突 突触 树突 内核 轴突 第一阶段 1943年，心理学家McCulloch和数学家Pitts对神经元进行形式化研究，提出了神经元的数学模型——MP模型。 1944年，D. O. Hebb提出改变神经元联结强度的Hebb学习规则，至今仍然是人工神经网络学习算法的一个基本原则。 1957年，Rosenblatt首次引进感知器(Perceptron)概念来模拟生物的感知、学习能力。 1962年，Widros提出用于自适应系统的连续取值的线性网络。 * 第二阶段 1969年，M. L. Minsky和S. Papert从理论上证明了当时单隐含层感知器网络模型无法解决的许多简单问题，包括最基本的“异或(XOR)”问题。使ANN理论的发展进入一个低谷； 1974年，Webos提出BP学习理论； S. Grossberg提出自适应共振理论（ART）。 第三阶段 突破性进展：1982年，CalTech的物理学家J. Hopfield提出Hopfield神经网络