第四章节、人工神经元网络模型.pptVIP

第四章 人工神经元网络模型　 　　　　 4）计算广义误差。 输出层广义误差： 隐含层广义误差： 误差反向传播 5）连接权系数更新 继续迭代计算直至满足终止条件为止 例如： 例4-2 利用多层前向传播神经网络逼近非线性函数 解　①训练算法采用传统的BP学习算法，其中样本集取20点 即 期望值： 选择多层前向网络结构为：1个输入神经元、6个隐含层神经元和1个输出神经元（隐层数为1）。 神经元激励函数都为Sigmoid函数。 图4-16　多层前向传播网络结构图 初始权系数阵由（0,1）之间的随机数组成。 学习步长 前向计算 误差反向传播 学习方式是批量学习还是单样本学习？ 计算过程： ② 选择30个校验样本数据集，它们的取值为 为了验证含多隐含层的前向传播网络的逼近性能，对含有两个隐含层的多层前向网络进行了仿真试验。取第一隐含层的隐含神元经数为4、第二隐含层的隐含神元经数为2。 图4-16　b)　多层前向传播网络结构 均方误差 均方误差 y y 图4-17　两种MLP模型的学习曲线和网络的逼近测试图（比较） BP算法的学习曲线 网络的测试集逼近性能 系统的实际输出（如虚线所示） 神经网络的逼近输出（如实线所示） 结论：增加隐含层的数目并不一定意味着能够改善逼近精度（隐含层越多，计算量越大，收敛速度就受影响——慢）。对于本例而言，这一非线性函数的神经网络逼近问题用单一隐含层已经足以满足逼近精度了。 上机试验题（P87）（BP算法的应用－字符识别） 1. 编写一个利用前向神经传播网络进行字符识别的程序。设神经网络为具有一个隐含层的BP网络，需识别的字符有三个A、I和O，其输入为4×4象素的扫描输入，见图4－25。 目标输出分别为A=(1,-1,-1)，I=(-1,1,1)，O=(-1,-1,1)。网络为16个输入节点、3个输出节点、9个隐含层节点。 图4－25 习题6图 问题：输入样本集为？ 第三节　动态神经网络模型 前向传播网络特点： ①从学习观点看是一种强有力的学习系统，系统结构简单且易于编程； ②从系统观点看是一种静态非线性映射，通过简单非线性处理单元的复合映射可获得复杂的非线性处理能力； ③从计算观点看不是一种强有力的系统，缺乏丰富的动力学行为，大部分前向神经网络都是学习网络，并不注重系统的动力学行为。 反馈型神经网络：非线性动力学系统。具备丰富的动力学特征，如稳定性、极限环、奇异吸引子（即浑沌现象）等 。 反馈动力学神经网络系统的两个重要特征： 1）系统有若干个稳定状态（称为记忆）。如果从某一初始状态开绐运动，系统总可以进入某一稳定状态（即寻找记忆的过程）。稳态的存在是实现联想记忆的基础。 定点吸引子：相空间（即状态空间）的一个不动点。 稳定性定义： 定义4-1　神经网络从任一初态X(0)开绐运动，若存在某一有限的时刻ts。从ts以后神经网络的状态不再发生变化，即　　　　　　　　　　 ，则称网络是稳定的。处于稳定时刻的网络状态叫稳定状态，又称定点吸引子。 吸引子分类：稳定的吸引子（如定点吸引子）；不稳定的吸引子（如极限环吸引子－周期重复的循环）。 2）系统的稳定状态可以通过改变相连单元的权值而产生。 难点：怎样通过调整网络权值来产生需要的稳定状态。 * 第一节　引言 人工神经网络就是模拟人脑细胞的分布式工作特点和自组织功能实现并行处理、自学习和非线性映射等能力。 神经网络：高度复杂的非线性动力学系统， 特点：快速并行处理能力和自学习能力。 发展： 1943：McCulloch和Pitts MP模型(神经元数学模型) 1944：Hebb Hebb规则(神经元连接强度的学习算法) 1957：Rosenblatt 感知器(Perceptron)模型(完整的人工神经网络，有感知和学习能力) 1976：Grossberg 自适应共振理论ART(Adaptive Resonance Theory) 1982：Hopfield HNN模型（Hopfield Neural Networks） 1986：Rumelhart BP算法（back propagation） 误差反向传播学习算法 神经元网络系统主要研究三个方面的内容： 神经元模型 神经网络结构 神经网络学习方法 线性 非线性 处理单元 前向网络(BP) 反馈网络(Hopfield) 自组织网络(ART) 有 导师指导 无 学习：神经元系统根据某种学习方法调整它内部参数以完成特定的任务的过程。 一、神经元模型 神经元是生物神经系统的最基本单元 1、神经细胞结构 树突 （输入端） 细胞体