ch4神经网络模型及仿真概论.ppt

 管理建模与仿真;第4章 神经网络模型及仿真;第4章 神经网络模型及仿真;图1 生物神经元示意图 ; 从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质。 突触有两种：兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。 ;4.1.2 人工神经元模型 1. 人工神经元模型的三要素 ;2. 人工神经元模型的数学表达一 ;4. 激励函数的形式;4.1.3 人工神经网络结构及工作方式 1、人工神经网络模型拓扑结构 人工神经网络(Artificial Neural Networks，ANN)是对人类大脑系统的一种仿真，简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。 实际上它是由大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。; 神经网络的优点是多输入多输出实现了数据的并行处理以及自学习能力。前向反馈（back propagation，BP）网络和径向基（radical basis function，RBF）网络是目前技术最成熟、应用范围最广泛的的两种网络。 神经网络的拓扑结构包括： 网络层数 各层神经元数量 各神经元之间相互连接方式; ◆ 前馈型网络： ◆ 反馈型网络：; ◆ 学习期（训练期）： 各计算单元状态不变，各连接线上权值通过学习来修改 ◆ 工作期： 连接权固定，计算单元状态变化，以达到某种稳定状态; ◆ 有教师学习： 外界存在一个教师，对给定的一组输入，提供应有的输出（标准答案），学习系统可根据实际输出与标准答案之间的差值来调整系统参数;◆ 无教师学习： 学习系统按照环境提供数据的某些统计规律来调节自身参数;● 考察神经元 k 在 n 时刻的输入和输出 ● 输入： ● 实际输出： ● 应有输出： ● 由误差信号构造能量函数： 其中E(.)为求期望算子 ● 求解最优化问题： ● 得出系统参数：w; 通常情况下用时刻 n 的瞬时值 代替J，即求解最优化问题 由数值迭代算法（如最速下降法、模拟退火算法等），可得 其中 为学习步长; 神经学家Hebb提出的学习规则：当某一连接两端的神经元同步激活（或同为抑制）时，该连接的强度应增强，反之应减弱，数学描述如下： 其中 分别为 wij 两端神经元的状态 最常用的一种情况是：;4.1.5 BP算法（向后传播算法）; BP算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。正向传播时，传播方向为输入层→隐含层→输出层，每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出，则转向误差信号的反向传播流程。通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。;1、正向传播 设 BP网络的输入层有n个节点，隐含层有q个节点，输出层有m个节点，输入层与隐含层之间的权值为 ，隐含层与输出层之间的权值为 ，如图所示。隐含层的传递函数为f1(·)，输出层的传递函数为f2(·) ，则隐含层节点的输出为（将阈值写入求和项中）：;Ep是wjk、vki的函数;（2）输出层权值的变化 采用累计误差BP算法调整 ，使全局误差E变小，即： 式中： η为学习率 定义误差信号为： 其中第一项： ; 第二项： 是输出层传递函数的偏微分。 于是： 由链定理得： 于是输出层各神经元的权值调整公式为： ;（3）隐含层权值的变化 定义误差信号为： 其中第一项： 依链定理有：;第二项： 是隐含层传递函数的偏微分。 于是： 由链定理得： 从而得到隐含层各神经元的权值调整公式为：;4.2 BP神经网络MATLAB工具箱;4.2.1 BP网络创建函数 BP网络创建函数中用得到的变量及含义： PR：由每组输入元素的最大值和最小值组成的R×2的矩阵； Si：第i层网络的神经元个数，共计N层