过程建模9-神经网络分解.pptVIP

下篇 非线性系统建模;9.1 神经网络基本原理9.2 静态神经网络模型9.3 动态神经网络模型9.4 神经网络建模应用; 目前广泛研究和应用的人工神经元网络在处理复杂系统的建模方面表现出了非凡的优越性。其方法实质上是一种非线性函数逼近的方法。;非线性系统辨识;神经网络建模特点： 非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。建模过程中的许多问题正是具有高度的非线性。 自学习和自适应能力：神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。 数据融合的能力：神经网络可以同时处理定量信息和定性信息，因此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处理）。 多变量系统：神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问题。; （2）神经网络系统辨识是非算式的，神经网络本身就是辨识模型，其可调参数反映在网络内部的连接权上。它不需要建立以实际系统数学模型为基础的辨识格式，故可以省去在辨识前对系统建模这一步骤。 （3）神经网络作为实际系统的辨识模型，实际上也是系统的一个物理实现，可以用于在线控制。;人工神经元可用如下简化模型描述：; 人工神经网络（ANN）是人类对其大脑神经网络认识理解的基础上人工构造的能够实现某种功能的神经网络，它是理论化的人脑神经网络的数学模型，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。 ;神经元网络的第i个输出可表示为：;▲静态非线性系统（激活函数）; 1）前馈网络 2）输出反馈的前馈式网络 3）前馈式内层互联网络 4）反馈型全互联网络 5）反馈型局部互联网络 ; 1）前馈网络： ; 3）前馈式内层互联网络： ;?;5）反馈型局部互联网络： ;这种引入了反馈的网络结构，又称为动态递归神经网络（DRNN-Dynamical Recurrent Neural Network）。 动态网络由于其内部的反馈作用，可以用较小的网络结构来实现系统的复杂性为，所以比较适合非线性动态系统的辨识和控制。;9.2 静态神经网络模型;感知器网络;反传（BP）网络;● 反传（BP）网络的结构图 一个输入层，一个输出层，多个隐层。;——第p组学习样本的输入向量; BP算法的基本思想是： 外界信息首先经输入节点，传输到隐节点，最后传送到输出节点，完成网络的正向传播； 若输出不是期望输出，则将实际输出与期望输出的误差，经原连通路径返回，修正各层间的连接权值，即误差反传过程，使误差变小。 经上述过程反复交替，使误差逐步缩小到规定精度的过程，实际上是一个非线性优化问题，即使系统输出与实际输出最接近。 ;★ 信息的正向传递;★ 误差的反向传播 ;★ 广义 学习规则; 初始化 ;重要结论;9 神经网络模型;带时滞的多层感知器网络;9 神经网络模型;从理论上说，上述这种网络结构能够逼近任意一个可用方程式描述的系统： 它的学习可以直接利用静态前馈神经网络的BP算法。;Hopfield神经网络;连续型Hopfield神经网络用于优化计算：;图 神经网络建模的一般结构;1.样本数据 收集和整理 采用神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。 而且，为监控训练（学习）过程使之不发生“过拟合”和评价建立的网络模型的性能和泛化能力，必须将收集到的数据随机分成训练样本、检验样本（10%以上）和测试样本（10%以上）3部分。 此外，数据分组时还应尽可能考虑样本模式间的平衡。; 输入/输出变量的确定及其数据的预处理 一般地，神经网络的输入变量即为系统的内生变量（影响因子或自变量）。若输入变量较多，一般可通过主成份分析方法压减输入变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。 输出变量即为系统的外生变量（系统性能指标或因变量）。一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。;2.神经网络拓扑结构的确定 隐层数 一般认为，增加隐层数可以提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。 在设计BP网络时可参考Hornik的结论，应优先考虑3层BP网络（即有1个隐层）。一般地，靠增加隐层节点数来