人工神经网络应用实例解读.ppt

人工神经网络的研究方法及应用实 例 分 析2008. 6. 10 一、人工神经网络知识回顾 1、什么是人工神经网络？ T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。” 2、神经网络基本模型 细 胞 体 突 触 轴 突 树 突 图 1 . 生 物 神 经 元 功 能 模 型 输 入 输 出 信 息 处 理 电 脉 冲 形 成 传 输 图2 BP神经网络结构模型 3、人工神经网络研究的局限性 （1）ANN研究受到脑科学研究成果的限制。 （2）ANN缺少一个完整、成熟的理论体系。 （3）ANN研究带有浓厚的策略和经验色彩。 （4）ANN与传统技术的接口不成熟。 （1）一般而言, ANN与经典计算方法相比并非优越, 只有当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN往往是最有利的工具。 （2）另一方面, ANN对处理大量原始数据而不能用规则或公式描述的问题, 表现出极大的灵活性和自适应性。 黑箱 二、神经网络的应用实例 人工神经网络以其具有自学习、自组织、较好的容错性和优良的非线性逼近能力，受到众多领域学者的关注。在实际应用中，80%～90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型（简称BP网络），目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。 1.样本数据 1.1 收集和整理分组 采用BP神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。 为监控训练（学习）过程使之不发生“过拟合”和评价建立的网络模型的性能和泛化能力，必须将收集到的数据随机分成训练样本、检验样本（10%以上）和测试样本（10%以上）3部分。 数据分组时还应尽可能考虑样本模式间的平衡。 1.2 输入/输出变量的确定及其数据的预处理 一般地，BP网络的输入变量即为待分析系统的内生变量（影响因子或自变量）数,一般根据专业知识确定。 若输入变量较多，一般可通过主成份分析方法压减输入变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。 输出变量即为系统待分析的外生变量（系统性能指标或因变量），可以是一个，也可以是多个。一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。 1.3 数据的预处理 要对输入数据进行预处理。 如果输出层节点也采用Sigmoid转换函数，输出变量也必须作相应的预处理，否则，输出变量也可以不做预处理。 预处理的方法有多种多样，各文献采用的公式也不尽相同。但必须注意的是，预处理的数据训练完成后，网络输出的结果要进行反变换才能得到实际值。 再者，为保证建立的模型具有一定的外推能力，最好使数据预处理后的值在0.2~0.8之间。 2.神经网络拓扑结构的确定 2.1 隐层数的选取 一般认为，增加隐层数可以降低网络误差（也有文献认为不一定能有效降低），提高精度，但也使网络复杂化，从而增加了网络的训练时间和出现“过拟合”的倾向。 Hornik等早已证明：若输入层和输出层采用线性转换函数，隐层采用Sigmoid转换函数，则含一个隐层的MLP网络能够以任意精度逼近任何有理函数。显然，这是一个存在性结论。在设计BP网络时可参考这一点，应优先考虑3层BP网络（即有1个隐层）。 一般地，靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。 2.2 隐层节点数 在BP 网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前理论上还没有一种科学的和普遍的确定方法。 目前多数文献中提出的确定隐层节点数的计算公式都是针对训练样本任意多的情况，而且多数是针对最不利的情况，一般工程实践中很难满足，不宜采用。事实上，各种计算公式得到的隐层节点数有时相差几倍甚至上百倍。 为尽可能避免训练时出现“过拟合”现象，保证足够高的网络性能和泛化能力，确定隐层节点数的最基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数。研究表明，隐层节点数不仅与输入/输出层的节点数有关，更与需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。 在确定隐层节点数时必须满足下列条件： 隐层节点数必须小于N-1（其中N为训练样本数），否则，网络模型的系统误差与训练样本的特性无关而趋于零，即建立的网络模型没有泛化能力，也没有任何实用价值。同理可推得：输入层的节点数（变量数）必须小