bp网络的拓扑结构及模型合理性研究.docxVIP

bp网络的拓扑结构及模型合理性研究 0 神经网络学习可以提高企业的非线性函数表 近年来，神经网络被广泛应用于时间序列分析和金融预测。因为神经网络具有很强的非线性函数闭合能力，所以根据样本数据的训练来确定输入变量之间的函数关系。也就是说，通过神经网络学习确定每个元素之间的耦合权重值，网络具有类似于函数的功能。因此，请理解市场的内在动力机制，并预测未来的行为。 1 样本数据 1.1 训练样本和测试样本的选取 采用网络方法建模的首要前提条件是有足够多有典型性和精度高的样本,而且,为监控训练(学习)过程使之不发生“过拟合”(overfitting)和评价建立的网络模型的性能和泛化能力,必须将收集到的数据随机分成训练样本、检验样本(10%以上)和测试样本(30%以上)3部分。此外,数据分组时还应尽可能考虑样本模式间的平衡。 1.2 bp神经网络隐层的数据预处理 一般地,BP网络的输入输出变量即为待分析系统的内生变量(影响因之或自变量)数,应根据专业知识确定。若输入变量较多,一般可以通过主成分分析方法压减输入变量,也可以根据剔除某一变量引起的系统误差与原系统误差的比值的大小来压减输入变量。输入变量即为系统待分析的外生变量(系统性能指标或因变量),可以是一个,也可以是多个。一般将一个具有多个输入的网络模型转化为多个具有一个输出的网络模型效果会更好,训练也更方便。 由于BP神经网络的隐层一般采用Sigmoid转换函数,为提高训练速度和灵敏性以及有效避开Sigmoid函数的饱和区,一般要求输入数据的值在0~1之间。因此,要对输入数据进行预处理。一般要求对不同变量分别进行预处理,也可以对类似性质的变量进行统一的预处理。如果输出层结点也采用Sigmoid转换函数,输出变量也必须作相应的预处理,否则,输出变量也可以不做预处理。 预处理的方法有多种多样,各文献采用的公式也不尽相同。但必须注意的是,预处理的数据训练完成后,网络输出的结果要进行反变换才能得到实际值。再者,为保证建立的模型具有一定的外推能力,最好使数据预处理后的值在0.2~0.8之间。 2 网络结构的确定 关于网络结构,我们想研究的是:在训练样本数量和质量一定时,如何确定网络结构以保证有良好的推广能力。 网络结构涉及到以下几个方面的内容:隐层的层数及隐层的结点数、初始权值、激励函数、学习率、动量因之、误差精度。 2.1 bp网络设计 Hornik等已证明:若输入层和输出层采用线性转换函数,隐层采用Sigmoid转换函数,则含一个隐层的MLP网络能够以任意精度逼近任何有理函数。显然,这是一个存在性结论。在设计BP网络时可参考这一点,应优先考虑3层BP网络(即有1个隐层)。一般地,靠增加隐层结点数来获得较低的误差,其训练效果要比增加隐层数更容易实现。对于没有隐层的神经网络模型,实际上就是一个线性或非线性(取决于输出层采用线性或非线性转换函数形式)回归模型。因此,一般认为,应将不含隐层的网络模型归入回归分析中,技术已很成熟,没有必要在神经网络理论中再讨论之。 2.2 隐层控制基本参数 隐层结点的选择与其说具有科学性,不如说更具技巧性。往往与输入数据中隐含的特征因素有关。网络初次训练前所有参数的选择权值都是初步数,至今得不到一个统一的规范。在文献和文献中,其作者分别用公式来确定隐层结点数的初始值,然后利用逐步增长或逐步修剪法确定。所谓逐步增长是先从一个较简单的网络开始,若不符号要求则逐步增加隐层单元数直到合适为止;逐步修剪则从一个较复杂的网络开始逐步消减隐层单元数到合适为止。 总之,若隐层结点数太少,网络可能根本不能训练或网络性能很差;若隐层结点数太多,虽然可使网络的系统误差减少,但一方面使网络训练时间延长,另一方面,训练容易陷入局部极小点而得不到最优点,也是训练时出现“过拟合”的内在原因。因此,合理隐层结点数应在综合考虑网络结构复杂程度和误差大小的情况下用结点逐步增长或逐步修剪法确定。 3 网络培训 3.1 bp神经网络模型的建立 BP网络的训练就是通过应用误差反传原理不断调整网络权值使网络模型输出值与已知的训练样本输出值之间的误差平方和达到最小或小于某一期望值。虽然理论上早已经证明:具有1个隐层(采用Sigmoid转换函数)的BP网络可实现对任意函数的任意逼近。但遗憾的是,迄今为止还没有构造性结论,即在给定有限个(训练)样本的情况下,如何设计一共合理的BP网络模型并通过向所给的有限个样本的学习(训练)来满意地逼近样本所蕴含的规律(函数关系,不仅仅是使训练样本的误差达到很小)的问题,目前在很大程度上还需要依靠经验知识和设计者的经验。因此,通过训练样本的学习(训练)建立合理的BP神经网络模型的过程,在国外被称为“艺术创造的过程”,是一个复杂而又十分烦琐和困难的过程。 由于BP网络采用误差反传算法,