正则化bp神经网络模型研究.pdfVIP

摘要

伴随大数据时代的来临，人工智能领域的研究与开发问题成为热点，人工神经网络目前被广

泛运用于处理图像检测、语音识别等领域。BP算法是前馈人工神经网络（FFANN）中最常用的训

练策略。然而，BP算法往往导致FFANN收敛速度慢、泛化能力差、稀疏性不足等问题。因此，

本文将正则化方法引入神经网络，对网络的权值进行优化。在网络全体连接权值上施加惩罚项，

介绍加入拉普拉斯正则化、高斯正则化后网络的训练过程。随后在经典的误差

损失函数中施加正则化项，结合小批量梯度下降过程，提出小批量正则化梯度下降算

法，并针对算法可能导致的震荡性问题对其进行进一步改进。

最后进行相关数值实验，实验结果表明，改进的正则化方法在解决神经网络稀疏性、提

高网络泛化能力问题上具有更好的性能。

关键词：BP神经网络；稀疏性；正则化方法

1绪论

1.1论文研究背景与意义

随着近年来人工智能的火热，深度学习作为其中的重要研究手段，受到人们的普遍关注。深

度学习是目前发展最迅速的机器学习算法之一[1]。该算法利用计算机技术，通过创建多层人工

神经网络，以一种与人类大脑处理数据的方法相似甚至更先进的方式来执行高级任务。深度学习

领域取得重大进展的最新实例包括医学影像分析、语音识别、文本翻译和图像分类等。除这些主

流应用外，深度学习算法也被用来解决逆成像问题[2]。

深度学习的核心是构建人工神经网络，它的训练目的是寻找一组最优的连接权值，使神经网

络能够处理一些特殊任务。为此，人们对神经网络的训练过程进行了大量的研究，基于梯度下降

的BP后向传播算法[3]是目前应用最广泛的训练算法，它试图搜索一组合适的模型参数，以最小

化模型真实输出和理想输出之间的差异。泛化能力[9]指经过训练后的神经网络模型对新的未知

数据集的预测能力，它是设计神经网络时需要考虑的一个基本问题，也是衡量网络性能的重要指

标。影响泛化能力的因素包括网络结构复杂程度，样本先验知识，训练数据量等。本文主要运用

正则化方法对神经网络中没有显著作用的连接权值进行权值稀疏化，优化网络结构，提高神经网

络泛化能力，从而使训练的网络可以得到更好的推广与应用。

1.2国内外研究现状

人类最早对神经网络的研究是受到模拟生物神经元的信息传递过程的启发。1943年，学者

W.S.McCulloch和W.

Pitts根据阈值加权和思想，提出M-P神经元模型[10]，此模型以生物神经元的构造为原型，给

出了它简化后的数学模型。1949年，学者D.Hebb提出Hebb学习规律[11]，该规律认为神经元

之间的突触联系是可变的，根据神经元间的激活程度来对权值进行调节。1958年，Rosenblatt

提出单层感知机模型，该模型只有一层M-P神经元，即仅含输入层

和输出层。可较容易地实现与、或、非、二分类等线性运问题，但不能处理非线性可分的情况。

1982年，H.

Hopfiled提出Hopfiled循环神经网络，利用该网络成功解决了TSP问题，引起轰动。1986年

Rumelhart等人重新提出多层神经网络算法，即BP算法[4]，该算法经过信息的前向传递和误

差的反向传播这两个过程来调节层与层之间的连接权重，处理了多层神经网络中的训练问题。

1998年，LeCun等人提出LeNet-5模型，也是卷积神经网络(CNN)的雏形。2006年，Hinton提出

深度信念网络(DBN)，通过训练和微调神经元间的连接权重，来优化DBN网络。

在此之后，随着计算水平的提升，大数据分析、云计算等领域的兴起，使深度学习在图像超

分辨率研究，语义分割、计算机视觉等方面都取得了重大进展。

图1.1M-P模型(左)与单层感知机示意图(右)

在训练神经网络时若过分追求训练集样本的拟合精度，使训练误差最小，很有可能会导致再

用该网络的参数训练新的样本时误差变大，即出现“过拟合”现象，使得神经网络的泛化性能有

所下降。因此，如何增强神经网络的泛化性能，也是近年来业界研究的重点。

提高神经网络泛化能力的方法[5]有很多，这里我们主要介绍神经网络结构的优化问题，以

获得更好的泛化能力。该方面已经做了很多工作，大致概括如下：

（1）构造性算法：在构造性算法中最著名的是级联相关算法[6