计算机新技术报告-神经网络.docxVIP

神经网络以及BP网络训练算法简俞亚君神经网络是一门发展迅速的交叉学科，它由大量的处理单元组成非线性的大规模自适应动力系统。目前已提出多种训练算法和网络模型。而其中使用最多的为BP学习算法及其改进。一．人工神经网络的由来与研究进展人工智能技术中统计学习方法的应用在早年间是一个活跃领域，但是当主流AI领域开始专注于符号方式时，它渐渐从主流人工智能中独立出来。而在20世纪80年代后期，随着贝叶斯网络模型的引入，对于统计学习又再次兴起，而在同一时期，神经元网络的统计学观点开始涌现出来。那么什么叫做神经网络呢？麦卡洛克（McCulloch）和皮茨（Pitts）于1943年提出一种叫做“似脑机器”的思想，这种机器可由基于生物神经元特性的互联模型来制造，这就是神经学网络的概念。经过多年发展，20世纪80年代，作为一种前馈神经网络的学习算法，帕克和鲁姆尔哈特重新发现了BP算法。近十多年来，神经网络（NN）已在各方面各领域找到用武之地，主要涉及机器人，模式识别，商业，医疗，军事等领域。二．人工神经网络的结构1.神经元极其特性θ -1WjnXn X1 Wj1 ∑f()yi神经单元由多个输入和一个输出组成，中间状态由输入信号的权和表示，而输出为：为输出变换函数，又称激励函数，往往采用0和1这种二值函数或S型函数，必须保证连续非线性。如2.人工神经网络的结构分类一般分为两类，递归网络（反馈）和前馈网络递归网络在递归网络中，多个神经元互联组织一个神经网络，输出被反馈至同层或前层神经元。因此信号能够正向和反向流通。如Hopfield网络。前馈网络前馈网络具有分层结构，由一些同层神经元不存在互联的层级组成；神经元从一层连接至下一层，不存在同层神经元间的连接。如多层感知器（MLP）。3.人工神经网络的主要学习算法有师学习有师学习能够根据期望和实际的网络输出之间的误差来调整神经元之间的连接强度和权。因此，需要老师来提供期望和目标。无师学习不需要知道期望输出，训练过程中，只需要向网络提供输入模式，神经网络就能自动适应连接权。强化学习属于有师学习的特例。不需要老师给出目标输出。强化学习采用一个“评论员”来评价与给定输出的优度，一个很好的例子是遗传算法（GA）。三.BP算法的讨论1．BP算法的学习过程学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐单元层逐层处理之后，传至输出层。每一层的神经元的状态只影响下一层神经元的状态。如果在输出层得不到期望输出，就转为反向传播，把误差信号沿原路返回，并修改各层权值，令误差信号最小。2.反向传播的重要公式推导根据高等数学理论，Y是一系列X的函数，为了使Y尽快增大，必须让Xi的变化与Y对Xi的偏导数成正比这个概念为梯度法（gradienr ascent）。再者，我们需要寻找一个标准方法来测量输出性能。我们采用了输出反差和来评价其中，P为被测神经元性能，s为全部训练输入的记号，z为全部输出节点的记号，为训练输入s在节点z的期望输出，为训练输入s在z上的实际输出。因此，如果能够计算出性能对每个权值的偏导数，那么就能使用梯度法。然后，根据对应的偏导数来修改权值，就能高效的进行修改，达到目标。下面给出一系列推导：需要指出的是，我们应当通过对每个训练输入导出的调整值求和来修正每个权值。考虑偏导数：式中，为连接第i层节点和第j层节点的权值。下一步是找出一种计算这个偏导数的有效方法。因为对性能P的作用通过中间变量来实现。应用高数中的链式法则（chain rule）：现在再考虑项。对节点j的全部输入求和，并通过一个阈值函数求得。即：把这个和作为中间变量来处理，再次运用连锁法：将此式带入，可求得下列关键方程：偏导数可由右边的下一层节点的偏导数之和来表示。由于对P的作用是通过下一层节点的输出来实现的，所以继续应用连锁法则：对节点k的全部输入求和，并通过阈值函数求得，则有：将此式带入，求得又一个关键方程：综上所述，两个关键方程表示两个重要结果：第一，性能对权值的偏导数取决于性能对下一个输出的偏导数；第二，性能对输出的偏导数取决于性能对下一层输出的偏导数。结论：P对第i层的任何权的偏导数必须借助计算右边第j层的偏导数而得到。于是我们需要计算最后一层每个输出的偏导数：而对其中记=O，再选取一个比率参数r，代替上面出现的2，则得到最终的反向传播公式：四．神经元网络的一些后续讨论使用神经元网络时，如果我们选择了一个过大的网络，它将能够构造一个大型的查找表记住所有实例，但不一定很好的推广到以前未见过的输入。换句话说，过多参数会导致过拟合。如果此时仍然坚持使用全连接网络，那么我们需要好好考虑隐层的数目和大小。通常的方法是尝试集中情况然后留下最好的。如果考虑非全连接的网络，那么我们需要在可能的连接拓扑结构的巨大空间