径向基函数神经网络.pptVIP

3.5径向基函数神经网络模型 概述 1985年，Powell提出了多变量插值的径向基函数(Radical Basis Function，RBF)方法 1988年， Moody和Darken提出了一种神经网络结构，即RBF神经网络 RBF网络是一种三层前向网络 RBF网络的基本思想 用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(即不需要通过权连接)映射到隐空间 当RBF的中心点确定后，映射关系也就确定 隐含层空间到输出空间的映射是线性的 3.5.1 RBF神经网络模型 径向基神经网络的神经元结构 激活函数采用径向基函数 以输入和权值向量之间的 距离作为自变量 径向基神经网络结构 RBF网络与BP网络比较： RBF网络的输出是隐单元输出的线性加权和，学习速度加快 BP网络使用sigmoid()函数作为激活函数，这样使得神经元有很大的输入可见区域 径向基神经网络使用径向基函数（一般使用高斯函数）作为激活函数，神经元输入空间区域很小，因此需要更多的径向基神经元 学习方法分类（按RBF中心选取方法的不同分） 随机选取中心法 自组织选取中心法 有监督选取中心法 正交最小二乘法等 3.5.2 RBF网络的学习算法 自组织选取中心学习方法 第一步，自组织学习阶段 无导师学习过程，求解隐含层基函数的中心与方差； 第二步，有导师学习阶段 求解隐含层到输出层之间的权值。 高斯函数作为径向基函数 网络的输出(网络结构如图2-21所示 ) 设d是样本的期望输出值，那么基函数的方差可表示为 : 自组织选取中心算法步骤 1.基于K-均值聚类方法求取基函数中心 （1）网络初始化。 随机选取 个训练样本作为聚类中心 。 （2）将输入的训练样本集合按最近邻规则分组。 按照 与中心为 之间的欧氏距离将 分配到输入样本的各个聚类集合 中。 （3）重新调整聚类中心。 计算各个聚类集合 中训练样本的平均值，即新的聚类中心 ，如果新的聚类中心不再发生变化，则所得到的即为RBF神经网络最终的基函数中心，否则返回（2），进入下一轮的中心求解。 2.求解方差 RBF神经网络的基函数为高斯函数时，方差可由下式求解： 式中 为中所选取中心之间的最大距离。 3.计算隐含层和输出层之间的权值 隐含层至输出层之间神经元的连接权值可以用最小二乘法直接计算得到，计算公式如下： 3.5.3 RBF网络学习算法的MATLAB实现 newrb() 功能 建立一个径向基神经网络 格式 net = newrb(P，T，GOAL，SPREAD，MN，DF) 说明 P为输入向量，T为目标向量，GOAL为圴方误差，默认为0，SPREAD为径向基函数的分布密度，默认为1，MN为神经元的最大数目，DF为两次显示之间所添加的神经元神经元数目。 newrbe() 功能 建立一个严格的径向基神经网络,严格是指径向基神经网络的神经元的个数与输入值的个数相等。 格式 (1) net = newrb(P，T， SPREAD) 说明 各参数的含义见Newrb。 例2 建立一个径向基神经网络，对非线性函数y=sqrt(x)进行逼近，并作出网络的逼近误差曲线。 误差曲线和逼近曲线 * RBF网络特点 只有一个隐层，且隐层神经元与输出层神经元的模型不同。 隐层节点激活函数为径向基函数，输出层节点激活函数为线性函数。 隐层节点激活函数的净输入是输入向量与节点中心的距离（范数）而非向量内积，且节点中心不可调。 隐层节点参数确定后，输出权值可通过解线性方程组得到。 隐层节点的非线性变换把线性不可分问题转化为线性可分问题。 局部逼近网络（MLP是全局逼近网络)，这意味着逼近一个输入输出映射时，在相同逼近精度要求下，RBF所需的时间要比MLP少。 具有唯一最佳逼近的特性，无局部极小。 合适的隐层节点数、节点中心和宽度不易确定。 1. Gauss（高斯）函数： 2. 反演S型函数： 3. 拟多二次函数： σ 称为基函数的扩展常数或宽度， σ越小，径向基函数的宽度越小，基函数就越有选择性。 径向基函数（RBF） 全局逼近和局部逼近 全局逼近网络 局部逼近网络 当神经网络的一个或多个可调参数(权值和阈值)对任何一个输出都有影响，则称该神经网络为全局逼近网络。 对网络输入空间的某个局部区域只有少数几个连接权影响网络的输出，则称该网络为局部逼近网络 学习速度很慢，无法满足实时性要求的应用 学习速度快，有可能满足有实时性要求的应用 RBF网络的工作原理 函数逼近： 以任意精度逼近任一连续函数。一般函数都可表示成一组 基函数的线性组合，RBF