神经网络学习算法matlab应用剖析.docxVIP

神经网络学习算法应用分析 摘要： 为了提高 BP 神经网络模型运用效果，基于不同方法提出了很多的优化算法算法 例如从经典梯度下降法，到复杂的 BFGS， LM算法等，然而不同的算法在不同的应用场 景有不同的效果，本文以 matlab 神经网络工具箱为基础，比较各种优化算法在预测分类问题中的应用效果，并分析各种算法优缺点，为神经网络优化算法的选择提供建议。 关键词 ：神经网络，优化算法，语音分类，梯度下降，拟牛顿法 一、 神经网络基本原理简介 近年来全球性的神经网络研究热潮的再度兴起，不仅仅是因为神经科学本身取 得了巨大的进展．更主要的原因在于发展新型计算机和人工智能新途径的迫切需 要．迄今为止在需要人工智能解决的许多问题中，人脑远比计算机聪明的多，要开 创具有智能的新一代计算机，就必须了解人脑，研究人脑神经网络系统信息处理的 机制．另一方面，基于神经科学研究成果基础上发展出来的人工神经网络模型，反 映了人脑功能的若干基本特性，开拓了神经网络用于计算机的新途径。它对传统的 计算机结构和人工智能是一个有力的挑战，引起了各方面专家的极大关注。 目前，已发展了几十种神经网络 [1,2] ，例如 Hopficld 模型， Feldmann 等的连接型网络模型， Hinton 等的玻尔茨曼机模型，以及 Rumelhart 等的多层感知机模型和 Kohonen的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的 是多层感知机神经网络 。 二、神经网络原理 2.1 最速下降学习算法公式推导 基本 BP算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际 输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进 行。 1 a1 x1 o1 输 ? ? 输 ? i ak 出 入 变xj o 变 量 wij wki 量 ? ? aL ? q xM o L 输入层 隐含层 输出层 2-1 BP 网 构 Fig.2-1 Structure of BP network 符号意 ： xj ：表示 入 第 j 个 点的 入， j 1, , M ； wij ：表示 含 第 i 个 点到 入 第 j 个 点之 的 ； i ：表示 含 第 i 个 点的 ； w ：表示 出 第 k个 点到 含 第 i 个 点之 的 ， i 1, , q ； ki ak ：表示 出 第 k 个 点的 ,k=1, ?,L ； ok ：表示 出 第 k 个 点的 出。 ：表示 含 的激励函数； 表示 出 的激励函数； 1）信号的前向 播 程 含 第 i 个 点的 入 neti： M neti wij x j i j 1 （2-1） 含 第 i 个 点的 出 yi ： M yi(neti ) ( wij xji ) j 1 （2-2） 出 第 k 个 点的 入 netk： q q M netk wki yiak wki ( wij x j i ) ak i 1 i 1 j 1 （2-3） 输出层第 k 个节点的输出 ok： q q M ok(netk )( wki yi ak ) wki ( wij x j i )ak i 1 i 1 j 1 （2-4） 2）误差的反向传播过程 误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后 根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近 期望值。 对于每一个样本 p 的二次型误差准则函数为 Ep： 1 L (Tk ok ) 2 Ep 2 k 1 （2-5） 系统对 P 个训练样本的总误差准则函数为： 1 P L p p 2 E (Tk ok ) 2 p 1 k 1 （2-6） 根据误差梯度下降法依次修正输出层权值的修正量 wki，输出层阈值的修正 量 ak，隐含层权值的修正量 wij ，隐含层阈值的修正量 i 。 wki E E wij E E ak wij ； i wki ； ak ； i （2-7） 输出层权值调整公式： E E netk E ok netk wki net k wki ok netk wki wki （2-8） 输出层阈值调整公式： ak E E netk E ok netk ak netk ak ok netk ak （2-9） 隐含层权值调整公式： wij E E neti E yi neti wij neti wij yi neti wij （ 2-10） 隐含层阈值调整公式： i E E neti E yi neti neti yi neti i i i （ 2-11） 又因为： E P L (Tk p ok p ) ok p 1 k 1 （ 2-12） n