神经网及络(RBF)讲课.pptx

RBF径向基函数神经网络汇报人：结构思路发展简史基本思想径向基函数（高斯函数）神经网络模型工作原理学习算法MATLAB实现发展简史 Broomhead和Lowe最早将RBF (Radical Basis Function）用于神经网络设计之中。他们在1988年发表的论文《Multivariable functional interpolation and adaptive networks》中初步探讨了RBF用于神经网络设计与应用于传统插值领域的不同特点，进而提出了一种三层结构的RBF神经网络。 Moody和Darken在1989年发表文章《Fast learning in network of locally-tunedprocessing units》，提出一种含有局部响应特性的神经网络，这种网络实际上与Broomhead和Lowe提出的RBF神经网络是一致的，他们还提出了RBF神经网络的训练方法。发展简史 以后的研究者针对以前研究中存在的问题与不足提出了许多改进的方法，比如Chen提出的OLS(Orthogonal Least Squares)算法；S.Lee等人提出的HSOL (Hierarchically Self-Organizing Learning) 算法；Platt提出的RAN(Resource Allocating Network)在线学习算法；Kadirkamanathan和Niranjan提出的RANEKF(RAN via Extended Kalman Filter)算法等。 RBF 神经网络主要用于解决模式分类和函数逼近等问题。在数学上，RBF神经网络结构的合理性可由 Cover 定理得到保证，即对于一个模式问题，在高维数据空间中可能解决在低维空间中不易解决的分类问题。它以径向基函数作为隐节点的激活函数，具有收敛速度快、逼近精度高、网络规模小等特点。RBF网络的基本思想 用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(即不需要通过权连接)映射到隐空间 当RBF的中心点确定后，映射关系也就确定隐含层空间到输出空间的映射是线性的RBF神经网络模型 径向基神经网络的神经元结构激活函数采用径向基函数 以输入和权值向量之间的 距离作为自变量 径向基函数（RBF）σ 称为基函数的扩展常数或宽度， σ越小，径向基函数的宽度越小，基函数就越有选择性。1. Gauss（高斯）函数：2. 反演S型函数：3. 拟多二次函数： RBF神经网络模型径向基神经网络结构 RBF神经网络模型RBF神经网络工作原理RBF的非线性分类能力是什么？RBF神经网络工作原理 空间1 空间2不易解决问题 易解决问题变换 空间1 空间2线性不可分 线性可分空间变换RBF神经网络工作原理RBF解决异或问题RBF神经网络工作原理RBF解决异或问题RBF网络的学习算法 学习算法需要求解的参数径向基函数的中心方差隐含层到输出层的权值 学习方法分类（按RBF中心选取方法的不同分）固定中心法自组织选取中心法有监督选取中心法基于K-MEANS聚类方法求取基函数中心K-means算法，也被称为k-平均或k-均值，是一种得到最广泛使用的聚类算法。算法首先随机地选择k个对象，每个对象初始地代表了一个簇的平均值或中心。对剩余的每个对象根据其与各个簇中心的距离，将它赋给最近的簇。然后重新计算每个簇的平均值。这个过程不断重复，直到准则函数收敛。准则函数常常使用最小平方误差MSEMinimum Squared-ErrorK-means算法过程K-means初值敏感K-means聚类总结算法复杂度O(nkt)，其中t是迭代次数。优点：是解决聚类问题的一种经典算法，简单、快速对处理大数据集，该算法保持可伸缩性和高效率当结果簇是密集的，而簇与簇之间区分明显时，它的效果较好常常用于其他聚类算法的一个阶段，如谱聚类K-means聚类总结缺点：在簇的平均值被定义的情况下才能使用，不适涉及有分类属性的数据必须事先给出k（要生成的簇的数目），而且对初值敏感，对于不同的初始值，可能会导致不同结果。不适合于发现非凸面形状的簇或者大小差别很大的簇对躁声和孤立点数据敏感算法常以局部最优结束RBF网络学习算法的MATLAB实现 RBF网络的MATLAB函数及功能函 数 名功 能newrb()新建一个径向基神经网络newrbe()新建一个严格的径向基神经网络newgrnn()新建一个广义回归径向基神经网络newpnn()新建一个概率径向基神经网络RBF网络学习算法的MATLAB实现newrb()功能 建立一个径向基神经网络格式 net = newrb(P，T，GOAL，SPREAD，MN，DF)说明 P为输入向量，T为目标向量，GOAL为圴方误差，默认为0，SPREAD