BP神经网络在函数逼近中的应用实例要点分析.docVIP

人工智能及计算方法Function approximation: design a neural network or fuzzy model to fit the following MISO functions: 1 x1, x25 Generate 200 data, 100 points for training and the other 100 for model validation. 1、样本确定 为了使选择的样本具有：完备性、一致性和简洁性，所以自变量x1和x2从[1 5]均匀取200个点（x1=1:4/199:5;x2=1:4/199:5;），将x1、x2代入函数得到y，即得到原函数三维图形如图1.1所示。其中，奇数位置作为训练样本偶数位置的数据作为测试样本。 图1.1 原函数三维图形 2、神经网络结构构造 由于输入变量有两个分别是x1、x2，则输入层的节点数为1。隐层节点数 图2.1 BP神经网络结构图 2.1隐含层节点数确定 由经验公式（2.1）可以初步确定隐含层节点数范围是[3 12]且为整数。 （2.1） 式中，为隐含层数，为输入数，为输出数，为1-10之间的整数net.trainParam.epochs=5000;），目标误差（net.trainParam.goal=1.0e-5;）。学习率不同BP神经网络参数和训练时间也会不同，学习率过大时可能导致系统的不稳定，学习速率较小导致较长的训练时间，可能导致收敛很慢。通过选取不同来做试验，根据得到训练结果来确定适合于本文的值。隐藏层和输出层的传递函数分别为正切S型函数tansig()和线性函数purelin()，设置BP神经网络的训练函数为trainlm函数trainlm即采用Levenberg-Marquardt学习算法，该算法的优点在于其训练过程收敛速度快，且网络的训练误差也比较小。,初始隐含层节点数4，来确定输入样本数据处理的必要性，如图3.1所示。 （a）进行归一化后的训练图 （b）未进行归一化后的训练图 图3.1 BP训练结果图 从图3.1可以看出进行归一化后的数据在430步时满足设定误差，而未进行数据归一化处理时陷入局部极小值情况。为了使建立的神经网络具有更好的性能须对输入样本先进行归一化处理，本文是将输入变量的值折算到[0 1]内。归一化公式（2.2），反归一化公式（2.3）所示。 （2.2） （2.3） 取学习率一定时，来确定隐含层节点数如表3.1所示，其训练图如图3.2所示。 表3.1 不同隐含层节点数下训练参数 隐含层节点数 训练时间(s) 迭代步数 最终误差 3 3.60673483665618 316 0.0018277 4 2.64159338228844 218 9.9693e-6 5 1.15821466648288 56 9.7816e-6 6 0.813596597786995 13 9.6824e-6 7 1.08232746707435 49 9.9351e-6 8 0.999822929537224 38 9.1637e-6 9 0.670040069673312 7 2.1694e-6 10 0.704761424042305 6 1.333e-6 11 0.748786770842471 8 3.3659e-6 12 0.720462520519793 7 1.9426e-7 13 0.727898566434005 4 1.1704e-6 （a）隐含层节点数为3的训练图 （b）隐含层节点数为4的训练图 （c）隐含层节点数为5的训练图 （d）隐含层节点数为6的训练图 （e）隐含层节点数为7的训练图 （f）隐含层节点数为8的训练图 （g）隐含层节点数为9的训练图 （h）隐含层节点数为10的训练图 （i）隐含层节点数为11的训练图 （j）隐含层节点数为12的训练图 （k）隐含层节点数为13的训练图 图3.2 训练结果图 通过综合考虑建立网络结构的复杂性和训练速度等因素，本文选择隐含层节点数为5个。 取隐含层节点数为5，来通过试验确定学习率如表3.2所示（初始值0.0001）。 表3.2 不同学习率下训练参数 学习率 训练时间(s)