BP神经网络实验报告.docxVIP

BP神经网络实验报告 作业8 编程题实验报告 （一）实验内容： 实现多层前馈神经网络的反向传播学习算法。使用3.2节上机生成的数据集对神经网络进行训练和测试，观察层数增加和隐层数增加是否会造成过拟合。 （二）实验原理： 1）前向传播： 以单隐层神经网络为例（三层神经网络），则对于第k个输出节点，输出结果为： 在实验中采用的激励函数为logistic sigmoid function。 考虑每一层节点中的偏差项，所以，在上式中： x0?1,wj0?b(l) 在实验中，就相应的需要注意矢量形式表达式中，矢量大小的调整。 2）BP算法： a) 根据问题，合理选择输入节点，输出节点数，确定隐层数以及各隐层节点数； b) 给每层加权系数，随机赋值； c) 由给定的各层加权系数，应用前向传播算法，计算得到每层节点输出值，并计算对于所有训练样本的均方误差； d) 更新每层加权系数： (l) 其中，?i(l)?(yi?di)?h(ai(l)),?(l?1)??(?i?wji?h(ai)，???j最后一层其它层 e) 重复c)，d）迭代过程，直至迭代步数大于预设值，或者每次迭代误差变化值小于预设值时，迭代结束，得到神经网络的各层加权系数。 （三）实验数据及程序： 1）实验数据处理： a) 训练样本输入节点数据：在实验中，所用数据中自变量x的取值，为0―1的25个随机值，为了后续实验结果的分析，将其从小到大排序，并加上偏差项，神经网络的输出节点最终训练结果，即为训练得到的回归结果； b) 训练样本标签值：在实验中，采用的激励函数为logistic sigmoid function，其值域为[0,1],所以，在神经网络训练前，需要对训练样本标签值进行归一化处理； c) 神经网络输出节点值：对训练样本标签值进行了归一化处理，相应的，对于输出节点，需要反归一化处理。 2）实验程序： 实现函数：[Theta]=BP(input_layer_size,hidden_layer_size,hidden_layer_num,num_labels,Niter,leta,X,Y) 输入参数：input_layer_size：输入节点数； hidden_layer_size：隐层节点数（对于单隐层，输入值为一数值，对于多隐层，为一矢量）； hidden_layer_num：隐层数； num_labels：输出节点数； Niter：为预设的迭代步数； leta：学习速率，即更新步长； X,Y：分别为训练样本输入特征值以及标签值。 输出参数：Theta：各层加权系数，在程序中，以一个细胞数组的形式保存。 （四）实验结果分析和讨论： a) 隐层数对回归的性能影响： 在实验中，对于单隐层的神经网络，实现前馈神经网络的反向传播学习算法后，分别采用不同的隐层节点数，并对一个不同于任何一个训练样本的测试样本，进行测试，得到图 1： 图1 隐层节点数对神经网络性能的影响 图中，‘*’表示测试样本的标签值。 分析：由图中可以明显的看出： （1） 当隐层节点数较小时，类似于降维，损失了信息，对于神经网络，回归出现欠拟合； （2） 当隐层节点数较大时，训练出的模型更加复杂，回归出现过拟合； b）隐层数对回归的性能影响： 在实验中，对于每层隐层节点数均取N=10，实现前馈神经网络的反向传播学习算法后，分别采用不同的隐层数，并对一个不同于任何一个训练样本的测试样本，进行测试，得到图 2： 图 2隐层数对神经网络性能的影响 分析：由图中可以看出： 当隐层数为4时，训练出的模型更加复杂，回归出现过拟合。 图 3 隐层数为4时，对于训练样本的回归结果 图3中，画出了隐层数为4时，对于100个训练样本的训练结果平均，易看出出现了过拟合。 感谢您的阅读，祝您生活愉快。