BP神经网络学习问题分析研究.pdf

摘要 机器学习的任务是设计某种方法和模型，通过对已知数据的学习，找到数据间内在的 相互依赖关系，从而对未知数据进行预测和判断。人工神经网络是重要的机器学习方法之 一，其中 BP 神经网络是应用最广泛的神经网络模型之一，本文以 BP 神经网络为研究对象， 提出了一种新的学习率自适应算法，并且对其学习问题进行分析研究，把神经网络的目标 函数作为研究重点。 BP 算法实质上是通过梯度下降法反复迭代得到神经网络权值的最终解，而神经网络权 值的解存在某一解的区域，如果训练样本的误差很大，说明神经网络权值的最终解通过梯 度下降法的迭代并没有达到解的区域，此时出现欠学习现象；如果训练样本的误差很小， 神经网络权值的解到达了解区，但是处于解区中央部分的权向量更可靠些，否则会出现过 学习现象。神经网络的学习能力与推广能力之间有很大的关系，神经网络模型的复杂度对 神经网络学习能力的影响可以从偏差与方置的观点进行解释，而 BP 神经网络权值解的过 程即神经网络的学习过程还与权值的初始值、样本质量、样本数量、误差函数、学习步长 这些因素有关，对于影响学习能力各个因素耦合关系的定量描述，国内外还尚未出现，本 文提出的观点是从神经网络解的轨迹出发，得到影响神经网络学习能力的各个因素关系式， 进而得到欠学习与过学习的定量描述，才能根本上解决欠学习与过学习问题。 BP 神经网络的学习通常以均方误差 (MSE) 函数为目标函数，它的应用条件之一为目标 变量被限定服从高斯分布，否则其结果可能偏离真正最优。零误差密度最大 (Z-EDM)算法 利用非参数估计中的 Parzen 窗法得到误差在零点的概率密度函数(Z-ED)，作为BP 网络的 目标函数。本文通过研究分析可知此目标函数通过整定参数 h ，适用于目标变量服从任何 分布，是能够模拟均方误差函数及交叉熵函数性能的原因，更适合作为 BP 网络的目标函 数，仿真结果验证了这个结论。同时本文通过分析指出参数 h 的确定方向为通过调整参数 h ，零误差函数准则能够准确描述样本误差的概率密度函数。 均方误差函数中每个样本误差所占的比重是相同的，过于重视误差较大的点，抗干扰 能力弱，鲁棒性差。本文提出一种新的目标函数准则—概率密度加权型均方误差函数准则， 通过证明可知权值函数是关于样本误差之间距离的单调减函数，因此每个样本误差的比重 是不一样的，当样本数据中存在噪声样本时，其误差与其他样本误差之间的距离比较大， 因此在目标函数中的比重比较小，通过参数 h 的调整，可以使其对神经网络的权值调整不 起作用，提高了神经网络的抗干扰能力。最后，仿真结果表明了加权型均方误差函数抗干 扰能力强的优点。 关键词：机器学习；BP 神经网络；欠学习与过学习；误差函数准则 I Abstract The task of machine Learning is designing a certain method and model to find inherent relationships between the data through the learning from the sample data. Neural Networks is one of important machine learning methods, and BP neural networks is one of neural network models have been used widely.This paper takes BP neural networks as the main study object, in which a new adapatation learning rate algorithm has been put forward, studies the learning of neural networks and attaches the importance on the cost function of neural ne