过程建模9-神经网络剖析.ppt

从理论上说，上述这种网络结构能够逼近任意一个可用方程式描述的系统： 它的学习可以直接利用静态前馈神经网络的BP算法。 9 神经网络模型 9.3 动态神经网络模型 Hopfield神经网络 9 神经网络模型 9.3 动态神经网络模型 连续型Hopfield神经网络用于优化计算： 9 神经网络模型 9.3 动态神经网络模型 图 神经网络建模的一般结构 9 神经网络模型 9.4 神经网络建模应用 1.样本数据 收集和整理 采用神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。 而且，为监控训练（学习）过程使之不发生“过拟合”和评价建立的网络模型的性能和泛化能力，必须将收集到的数据随机分成训练样本、检验样本（10%以上）和测试样本（10%以上）3部分。 此外，数据分组时还应尽可能考虑样本模式间的平衡。 9 神经网络模型 9.4 神经网络建模应用 输入/输出变量的确定及其数据的预处理 一般地，神经网络的输入变量即为系统的内生变量（影响因子或自变量）。若输入变量较多，一般可通过主成份分析方法压减输入变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。 输出变量即为系统的外生变量（系统性能指标或因变量）。一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。 9 神经网络模型 9.4 神经网络建模应用 2.神经网络拓扑结构的确定 隐层数 一般认为，增加隐层数可以提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。 在设计BP网络时可参考Hornik的结论，应优先考虑3层BP网络（即有1个隐层）。一般地，靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。 9 神经网络模型 9.4 神经网络建模应用 隐层节点数 在确定隐层节点数时必须满足下列条件： 隐层节点数必须小于N-1（其中N为训练样本数），否则，网络模型的系统误差与训练样本的特性无关而趋于零，即建立的网络模型没有泛化能力，也没有任何实用价值。同样，输入层的节点数（变量数）必须小于N-1。 (2) 训练样本数必须多于网络模型的连接权数的2~10倍。 9 神经网络模型 9.4 神经网络建模应用 3.网络模型的性能 训练神经网络的首要和根本任务是确保训练好的网络模型对非训练样本具有好的泛化能力（推广性），即有效逼近实际系统和样本蕴含的内在规律，而不是看网络模型对训练样本的拟合能力。 即使每个训练样本的误差都很小（可以为零），并不意味着建立的模型已逼近实际系统。因此，网络模型的评价关键是看非训练样本（测试样本、随机样本）的误差大小，仅给出训练样本误差的大小没有任何意义。 9 神经网络模型 9.4 神经网络建模应用 讨论: 隐层的数目和节点的数目,何谓合适? 是否收敛到全局最优 3)收敛的速度问题。 4)网络的泛化能力。 9 神经网络模型 9.4 神经网络建模应用 举例 利用多层前馈BP网络逼近非线性函数 输入x 输入y 例如：待逼近的非线性函数为 9 神经网络模型 9.4 神经网络建模应用 解：训练样本集取20点，即 训练样本输入 训练样本输出 网络结构选为1个输入神经元、6个隐含层神经元、1个输出神经元的三层前馈网络，激励函数为Sigmoid函数。 9 神经网络模型 9.4 神经网络建模应用 9 神经网络模型 9.4 神经网络建模应用 9 神经网络模型 9.4 神经网络建模应用 运用同样检验样本，两个隐含层的网络所得到的检验结果： 从图中可看出，增加隐含层的数目并不意味着能改善神经网络的逼近精度。 9 神经网络模型 9.4 神经网络建模应用 * * 下篇 非线性系统建模 9.1 神经网络基本原理9.2 静态神经网络模型9.3 动态神经网络模型9.4 神经网络建模应用 9 神经网络模型 目前广泛研究和应用的人工神经元网络在处理复杂系统的建模方面表现出了非凡的优越性。其方法实质上是一种非线性函数逼近的方法。 ！！！理论上可以证明神经元网络可以任意精度逼近任何非线性函数。因此将神经元网络应用于非线性对象的动态或静态建模的方法正成为研究热点。 9.1 神经网络基本原理 9 神经网络模型 一般而言, ANN与经典计算方法相比并非优越, 只有当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统,ANN往往是最有利的工具。另一方面, ANN对处理大量原始数据而不能用规则或公式描述的问题, 表现出极大的灵活性和自适应性。 9.1 神经网络基本原理 9