基于RBF网络几种学习算法.docVIP

基于RBF网络几种学习算法摘 要:本文综合叙述了基于RBF网络的几种学习算法,包括:均值聚类算法、混合学习算法、模糊聚类算法等学习算法,简单介绍了各种算法的过程和应用范围,最后对RBF网络学习进行了计算机模拟 关键词:RBF网络 算法 聚类中心 函数 学习 中图分类号:TN929.11 文献标识码:A 文章编号:1672-3791(2011)09(a)-0018-02 径向基函数神经网络(RBF)是一种具有单隐层的三层前馈网络,理论上已经证明对于一个给定的非线性函数,RBF神经网络可以任意的精度逼近它,该网络具有全局最优和最佳逼近的性能[1～2]。RBF神经网络已被广泛应用于智能控制、系统优化、信号及信息处理、模式识别等领域 在RBF网络中,输出层和隐含层所完成的任务是不同的,各自的学习策略和方法也不同 1 基于RBF网络的学习方法 1.1 均值聚类算法[3] 首先,从输入样本中选取样本聚类中心,并进行初始化 第二步,按最邻近规则分组样本,并分配给相应的聚类中心样本 第三步,将分配好的样本子集中的样本取平均值,直到聚类中心的分布不发生变化为止,这样就确定了RBF的中心 1.2 混合学习算法[4] 混合学习算法主要有在线生成隐单元和网络参数学习两种 1.2.1 在线生成隐单元 选定高斯函数作为所分配的隐单元的初始宽度,并且作为判断输入数据和已存在隐单元距离的标准,它决定了神经网络聚类的数目。假设其宽度为,按如下规则判断是否生成新的隐单元 假设RBF网络已经存在K个隐单元,对一个新的数据对,如果,则生成一个新的隐单元,其中, 为R维输入向量,C.nearest为当前网络中和X最近的网络中心。对新生成的隐单元,令其中心向量为该数据对的输入向量,权值向量为该数据对的输出向量,高斯函数的宽度初始化为r。否则,如果不符合前面的条件,则将该数据对划分到最小距离的那个中心所属的类中,并且对应的中心向量不发生变化,对应的权值向量变为该类中所有数据对的输出向量的算术平均值 1.2.2 网络参数学习 第一步:给定高斯函数的宽度r、迭代终止精度ε以及学习率η和动态因子α。定义一个矢量用于存放属于各类的输出矢量之和,定义一个计数器用于统计属于各类的样本数,其中t为已获得的类别数 第二步:从第一个数据对开始,形成一个聚类中心,令: ,,=,=1该隐单元到输出层的权矢量为w1=/ 第三步:对于第k个未参加过聚类计算的样本对,按第一步中规则判定是否增加隐单元,如果需增加隐单元,则按第二步中方法对新的隐单元进行初始化。否则将其归入到最近距离的中心所属的那一类中,并调整该中心到输出层的连接权值为该类中所有样本输出向量的算术平均 第四步:将第一步到第三步中所得到的中心、宽度及权值作为梯度下降训练的初始参数 第五步:对所有输入样本,计算样本输出误差E,并按下式调整各参数值: (1) (2) (3) 其中,为第k个输出神经元与第j个隐层神经元之间第t次迭代计算时的连接权,为第j个隐层神经元对应于第i个输入神经元第t次迭代计时的中心,为第j个隐层神经元第t次迭代计算时的宽度。η为学习率,α为动态因子 第六步:按下式计算网络输出的均方根误差RMS的值 第七步:如果RMS≤ε,则训练结束,否则转到第五步 1.3 模糊聚类算法[5] 聚类分析是一种无监督的学习方法,能够从研究对象的特征数据中发掘出关联规则,是一种强有力的信息处理方法。在基于目标函数的聚类方法中,c-均值算法是一种最常用的方法,它包括硬c-均值算法(HCM)和模糊c-均值算法(FCM) FCM算法的核心思想是:把n个向量(k =1,2,…,n)分为c个组(i=1,2,…,c),并求每组的聚类中心使得距离指标的目标函数达到最小,选择欧几里德距离作为组i中向量与相应的聚类中心间的距离指标时,目标函数定义为: ,≤≤,, (4) 为聚类中心矢量; 为数据点与第i类中心之间的距离;m是权重指数,一般取值为2;目标函数J为每个数据点到相应数据中心的加权距离平方和;应用lagrange乘数法对求解,可得最佳隶属度U,最佳聚类中心V为: 2 RBF的模拟计算 RBF的应用非常广泛,下面将RBF应用于股票的预测进行模拟计算[6] 由于股市中的数据可以看作一个时间序列进行处理,采用K-均值聚类算法,因此这里假定有时间序列,现在希望通过序列的前个时刻的值,预测出后个时刻的值。把数据分为个长度为的有一定重叠的数据段,每一个数据段可以看作一个样本,这样得到个样本。这样以来我们可以将每个样本的前个值作为RBF神经网络的输入,后个值作为目标输出。通过