神经网络及BP与RBF比较讲义.docx

机器学习第四章神经网络报告 一、神经网络概述 1.简介 人工神经网络是模仿脑细胞结构和功能、脑神经结构以及思维处理问题等脑功能的信息处系统，它从模仿人脑智能的角度出发，探寻新的信息表示、存储和处理方式，这种神经网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，它采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结有针对性化信息方面的缺陷，具有自适应、自组织和实时学习的特点，它通过预先提供的一批相互对应的输入和输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果。人工神经网络（ANN）学习对于训练数据中的错误健壮性很好，且已被成功地应用到很多领域，例如视觉场景分析、语音识别、机器人控制以及医学图像处理等。 人工神经网络 2.人工神经网络的特点及功能 2.1人工神经网络具有以下几个突出的优点： （1）能充分逼近复杂的非线性关系。只有当神经元对所有输入信号的综合处理结果超过某一个限值后才能输出一个信号。 （2）所有定量或定性的信息都等势分布贮存于网络内的各神经元，每个神经元及其连线只能表示一部分信息，因此当有节点断裂时也不影响总体运行效果，具有很强的鲁棒性和容错能力。 （3）采用并行分布处理方法，使得快速进行大量运算成为可能。 （4）可学习和自适应不知道或不确定的系统。 2.2人工神经网络的特点和优越性，使其具有以下三个显著的功能： （1）具有自学习功能：这种功能在图像识别和处理以及未来预测方面表现得尤为明显。自学习功能在未来预测方面也意义重大，随着人工神经网络的发展，未来它将在更多的领域，比如经济预测、市场预测、效益预测等等，发挥更好的作用。 （2）具有联想存储功能：人的大脑能够对一些相关的知识进行归类划分，进而具有联想的功能，当我们遇到一个人或者一件事情的时候，跟此人或者此事相关的一些信息会浮现在你的脑海，而人工神经网络则通过它的反馈网络，实现一些相关事物的联想。 （3）具有??速寻找优化解的功能：人工神经网络利用反馈型网络，通过发挥计算机快速和高效的计算能力，结合针对解决某一问题的算法，往往能快速找到针对某些复杂问题的优化解 此外，ANN还存在着很多问题：如训练时间长，需大量训练数据，不能保证最佳结果和完全可靠，容易陷入局部极小，不具备增量学习能力，联想存储网络容量小，所存储的信息相互干扰和退化，不适合高精度计算，没有很完善的学习方法，经验参数太多等。在实际应用中也存在着难以设计通用的神经网络芯片，大量的、动态的神经无互联实现困难等问题。因此，还需对ANN进行现深更进一步的研究。 二RBF神经网络介绍 径向基函数（RBF）神经网络是一种新颖有效的前馈式神经网络，它具有最佳逼近和全局最优的性能，同时训练方法快速易行，不存在局部最优问题，这些优点使得RBF网络在非线性时间序列预测中得到了广泛的应用。 1985年，Powell提出了多变量插值的径向基函数（Radial-Basis Function,RBF）方法。1988年，Broomhead和Lowe首先将RBF应用于神经网络设计，构成了径向基函数神经网络，对输入矢量进行一次变换，将低维的模式输入数据变换到高维空间内，通过对隐单无输出的加权求和得到输出，这就是RBF网络的基本思想。 RBF神经网络的结构原理 RBF函数网络从结构上看是一个3层前馈网络，包括一个输入层、一个输出层和一人隐含层。输入层节点的作用是将输入数据传递到隐含层节点。隐含层节点称为RBF节点，其激活函数为辐射状函数的神经元构成，下面是单输出的RBF网络的拓扑图： 通常采用高斯型函数： uj=exp-x-CjTx-Cj2δj2，(j=1,2,…,h) 其中x=(x1,x2,…,xm)是RBF网络的输入向量，uj是第j个隐含层神经元的输出，且uj∈[0,1]，Ci是高斯函数的中心值，δj是高斯函数的方差，h是隐含层神经元数目。输出层节点的激活函数通常为简单的线性函数。 RBF网络中所用的非线性函数的形式对网络性能的影响并不是至关重要的，关键因素是基函数中心的选取，中心选取不当构造出来的RBF网络的性能一般不能令人满意。例如，某些中心靠的太近，会产生近似线性相关，从而带来数值上的病变条件。通常使用的RBF有：高斯函、多二次函数、逆多二次函数、薄板样条函数等。普通RBF网络采用的是高斯函数。“基函数”采用的高斯基函数具备如下的优点：表示形式简单，即使对于多变量输入也不增加太多的复杂性；径向对称；光滑性好，任意阶导数均存在；由于该基函数表示简单且解析性好，因而便于进行理论分析。 最近邻聚类学习算法 按RBF中心选取方法的不同来分可将RBF网络的学习算法分为随机选取中心、自组织选取中心、有监