BP神经网络及深度学习研究-综述_new_new讲解.docx

BP神经网络及深度学习研究 PAGE \* MERGEFORMAT10  MACROBUTTON MTEditEquationSection2 Equation Chapter 1 Section 1 SEQ MTEqn \r \h \* MERGEFORMAT  SEQ MTSec \r 1 \h \* MERGEFORMAT  SEQ MTChap \r 1 \h \* MERGEFORMAT BP神经网络及深度学习研究 摘要：人工神经网络是一门交叉性学科，已广泛于医学、生物学、生理学、哲学、信息学、计算机科学、认知学等多学科交叉技术领域，并取得了重要成果。BP（Back Propagation）神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。本文将主要介绍神经网络结构，重点研究BP神经网络原理、BP神经网络算法分析及改进和深度学习的研究。 关键词：BP神经网络、算法分析、应用 引言 人工神经网络（Artificial Neural Network，即ANN ），作为对人脑最简单的一种抽象和模拟，是人们模仿人的大脑神经系统信息处理功能的一个智能化系统，是20世纪80 年代以来人工智能领域兴起的研究热点。人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，旨在模仿人脑结构及其功能的信息处理系统。 人工神经网络最有吸引力的特点就是它的学习能力。因此从20世纪40年代人工神经网络萌芽开始，历经两个高潮期及一个反思期至1991年后进入再认识与应用研究期， 涌现出无数的相关研究理论及成果，包括理论研究及应用研究。最富有成果的研究工作是多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。因为其应用价值，该研究呈愈演愈烈的趋势，学者们在多领域中应用 REF _Ref433487729 \r \h \* MERGEFORMAT [1]人工神经网络模型对问题进行研究优化解决。 人工神经网络是由多个神经元连接构成，因此欲建立人工神经网络模型必先建立人工神经元模型，再根据神经元的连接方式及控制方式不同建立不同类型的人工神经网络模型。现在分别介绍人工神经元模型及人工神经网络模型。 人工神经元模型 仿生学在科技发展中起着重要作用，人工神经元模型的建立来源于生物神经元结构的仿生模拟，用来模拟人工神经网络 REF _Ref433487839 \r \h \* MERGEFORMAT [2]。人们提出的神经元模型有很多，其中最早提出并且影响较大的是1943年心理学家McCulloch和数学家W. Pitts在分析总结神经元基本特性的基础上首先提出的MP模型。该模型经过不断改进后，形成现在广泛应用的BP神经元模型。人工神经元模型是由人量处理单元厂泛互连而成的网络，是人脑的抽象、简化、模拟，反映人脑的基本特性。一般来说，作为人工神经元模型应具备三个要素： 具有一组突触或连接，常用表示神经元i和神经元j之间的连接强度。 具有反映生物神经元时空整合功能的输入信号累加器。 具有一个激励函数用于限制神经元输出。激励函数将输出信号限制在一个允许范围内。 一个典型的人工神经元模型如 REF _Ref433388667 \h 图11所示。 图 STYLEREF 1 \s 1 SEQ 图 \* ARABIC \s 1 1 人工神经元模型 其中为神经元i的输入信号，为连接权重，b为外部刺激，为激励函数，为神经元的输出，其输出计算公式如 GOTOBUTTON ZEqnNum720545 \* MERGEFORMAT  REF ZEqnNum720545 \* Charformat \! \* MERGEFORMAT (1.1)。  MACROBUTTON MTPlaceRef \* MERGEFORMAT  SEQ MTEqn \h \* MERGEFORMAT ( SEQ MTSec \c \* Arabic \* MERGEFORMAT 1. SEQ MTEqn \c \* Arabic \* MERGEFORMAT 1) 人工神经网络模型 建立神经元模型后，将多个神经元进行连接即可建立人工神经网络模型。神经网络的类型多种多样，它们是从不同角度对生物神经系统不同层次的抽象和模拟。从功能特性和学习特性来分，典型的神经网络模型主要包括感知器、线性神经网络、BP网络、径向基函数网络、自组织映射网络和反馈神经网络等。一般来说，当神经元模型确定后，一个神经网络的特性及其功能主要取决于网络的拓扑结构及学习方法。从网络拓扑结构角度来看，神经网络可以分为以下四种基本形式 R