带处罚项的BP神经网络在线梯度法.pdfVIP

摘 要 多层前传神经网络在许多领域有着广泛的应用。网络的泛化能力，即网络在训练集 以外的样本上的精度，是标志神经网络性能的一个重要指标。提高网络泛化能力的一个 重要指导思想是选择能够在训练集上达到精度要求的尽可能小的网络。 这里所说的小网络是指具有较少的神经元或连接的网络。得到这样的较小网络的 一个有效途径是：在网络训练完成之后删除一些不重要的单元或连接。关于这方面的 算法的介绍参见f7，15，191。其中，从网络中删除连接权值的方法中包括在传统的误差函 数中加入一个惩罚项，这样不重要的连接就有较小的权值，修剪这些权值就可以使网络 的复杂性大大减小『221。另外，在一些训练结束时不对网络进行修剪的情况中，网络的 复杂性仍然会因为权值都比较小而大幅降低，因而会表现出较好的泛化能力f18，26j。所 以在BP网络的误差函数中加入惩罚项是提高网络泛化能力的一个重要途径。 12．22，261)都是在实验的基础上对惩罚项的性能进行研究，没有在数学上论证权值的有 界性。JunKong＆Wei Wu[131对一种惩罚项的性质在数学上作了研究，他们在训练样本 线性无关(样本个数不能多于样本的维数)的条件下，证明了应用惩罚项到无隐层BP网 络中可以保