动力学建模之神经网络精选.doc

动力学系统建模课程报告 神经网络综述 神经网络介绍人工神经网络简称为神经网络或称作连接模型，它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。神经网络可以处理非线性适应性信息，克服了传统人工智能方法对于直觉的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域取得成功应用。。 (3) 激活函数，相当于细胞体的功能，对输入的信号进行非线性映射，使输出幅值限制在一定范围内。输出表达式：。激活函数有阶跃函数、分段线性函数、sigmoid函数及双曲正切对称S型函数。 (4) 阀值，其作用可用数学表达式来表示：。 1.3人工神经网络的工作方式 其工作过程主要分为两个阶段： (1) 学习期，此时每一个计算单元的状态不变，样本数据进行输入，得到实际输出，与期望输出进行对比得出输出误差，根据输出误差修改权值，直至系统参数满足输出误差要求，这样就建立了适合样本的神经网络模型。 (2) 工作期，此时各连接权是固定的，输入数据便可得到模型结果，即运用神经网络模型进行实际应用过程。 1.4人工神经网络的学习方式 通过向环境学习来获取系统参数并改进自身性能是神经网络的一个重要特点。一般情况下，性能的改善是按照预定的期望来修改自身的参数。学习的方式有以下三种： (1) 有监督学习阶段：以输入输出为训练样本集，学习系统将实际输出与期望输出进行比较，根据一定的学习算法修正权系数及阀值，从而使系统实际输出越来越达到期望输出。 (2) 无监督学习阶段：只提供输入，不提供输出，根据输入调整权系数及阀值，主要用于某些聚类操作。 (3) 强化学习：外部环境对系统输出只给出评价（相当于完成任务时的奖励），没有具体的期望输出，学习系统通过强化那些受奖励的来修改自身参数。 下面分别介绍前馈神经网络及反馈神经网络算法。 2 前馈神经网络算法原理 2.1 前馈神经网络及BP神经网络介绍 前馈神经网络中的各个神经元只接收上一级的输入，并输出到下一级，网络中没有反馈。节点分为两类，即输入单元及计算单元，每一个计算单元可以有任意个输入，但只有一个输出。前馈神经网络除了输入层及输出层之外，中间的层称为隐层。前馈神经网络为一种非线性映射，通过简单的非线性处理就可以映射非常复杂的非线性关系，可用来处理难以建模的非线性系统。前馈神经网络为一种非常强大的计算系统，但不具有丰富的动力学行为。 BP神经网络是一种利用误差反向传播训练算法含隐层的前馈神经网络。对于输入层，输入模式送到输入层节点上，这一层节点的输出即等于其输入。除了输入层的节点外，隐含层和输出层节点的净输入是前一层节点输出的加权和。每个节点的激活程度由它的输入信号、激活函数和节点的偏值(或阈值)来决定。 2. BP神经网络的BP学习算法的基本原理是梯度最速下降法，它的中心思想是调整权值使网络总误差最小。也就是采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。网络学习过程是一种误差边向后传播边修正权系数的过程。将上一层节点的输出传送到下一层时，通过调整连接权系数来达到增强或削弱这些输出的作用。多层网络运用BP 学习算法时，实际上包含了正向和反向传播两个阶段。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望输出，则转入反向传播，将误差信号沿原来的连接通道返回，通过修改各层神经元的权值，使误差信号最小。学习训练阶段，有N个样本，如果已知输入样及预期输出，隐含层第i个在样本p作用下的输入可以表示为： ， (1) 其中为第个样本中第j个输入，为隐层的阀值，为输入层j个节点与隐层之间的连接权值，M为输入层的节点数。 隐含层第i个的输出为： ， (2) g(.)为激活函数，sigmoid激活函数形式为，其中表示偏值，为调节形状参数。其导数可以表示为： (3) 隐含层第i个输出通过权系数向前传播到输出层第k个，并作为它的输入之一，输出层的第k个的输入为： ， (4) 为输出层的阀值，为输出层与隐层之间的连接权值，L为输出层的节点数，q为隐层的节点数。 输出层第k个的输出为： ， (5) 激活函数的导数： ， (6) 对每一个样本p的输入模式，其误差为： (7) 为第k个输出层节点输出期望值。 对N个训练样本的总误差为： (8) N为模式样本数，L为网络输出节点数。 若其输出与给定的期望值不一致，则将误差信号从输出端反向传播回来，并在传播过程中对权系数进行修正，直到输出层输出值为期望输出，完成样本训练过程。 权系数输出层权系数调整 首先定义： (9) 隐层第i个节点与输出层第k个节点权值总调