神经网络(RBF)讲课.pptx

RBF径向基函数神经网络 汇报人： 结构思路 发展简史 基本思想 径向基函数（高斯函数） 神经网络模型 工作原理 学习算法 MATLAB实现 发展简史 Broomhead和Lowe最早将RBF (Radical Basis Function）用于神经网络设计之中。他们在1988年发表的论文《Multivariable functional interpolation and adaptive networks》中初步探讨了RBF用于神经网络设计与应用于传统插值领域的不同特点，进而提出了一种三层结构的RBF神经网络。 Moody和Darken在1989年发表文章《Fast learning in network of locally-tunedprocessing units》，提出一种含有局部响应特性的神经网络，这种网络实际上与Broomhead和Lowe提出的RBF神经网络是一致的，他们还提出了RBF神经网络的训练方法。 发展简史 以后的研究者针对以前研究中存在的问题与不足提出了许多改进的方法，比如Chen提出的OLS(Orthogonal Least Squares)算法；S.Lee等人提出的HSOL (Hierarchically Self-Organizing Learning) 算法；Platt提出的RAN(Resource Allocating Network)在线学习算法；Kadirkamanathan和Niranjan提出的RANEKF(RAN via Extended Kalman Filter)算法等。 RBF 神经网络主要用于解决模式分类和函数逼近等问题。在数学上，RBF神经网络结构的合理性可由 Cover 定理得到保证，即对于一个模式问题，在高维数据空间中可能解决在低维空间中不易解决的分类问题。它以径向基函数作为隐节点的激活函数，具有收敛速度快、逼近精度高、网络规模小等特点。 RBF网络的基本思想  用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(即不需要通过权连接)映射到隐空间 当RBF的中心点确定后，映射关系也就确定 隐含层空间到输出空间的映射是线性的 RBF神经网络模型  径向基神经网络的神经元结构 激活函数采用径向基函数 以输入和权值向量之间的 距离作为自变量 径向基函数（RBF） 1. Gauss（高斯）函数： 2. 反演S型函数： 3. 拟多二次函数： σ 称为基函数的扩展常数或宽度， σ越小，径向基函数的宽度越小，基函数就越有选择性。 RBF神经网络模型 径向基神经网络结构 RBF神经网络模型 RBF神经网络工作原理 RBF的非线性分类能力是什么？ RBF神经网络工作原理 空间1 空间2 不易解决问题 易解决问题 变换 空间1 空间2 线性不可分 线性可分 空间变换 RBF神经网络工作原理 RBF解决异或问题 RBF神经网络工作原理 RBF解决异或问题 RBF网络的学习算法 学习算法需要求解的参数 径向基函数的中心 方差 隐含层到输出层的权值 学习方法分类（按RBF中心选取方法的不同分） 固定中心法 自组织选取中心法 有监督选取中心法 基于K-MEANS聚类方法求取基函数中心 K-means算法，也被称为k-平均或k-均值，是一种得到最广泛使用的聚类算法。 算法首先随机地选择k个对象，每个对象初始地代表了一个簇的平均值或中心。对剩余的每个对象根据其与各个簇中心的距离，将它赋给最近的簇。然后重新计算每个簇的平均值。这个过程不断重复，直到准则函数收敛。 准则函数常常使用最小平方误差MSE Minimum Squared-Error K-means算法过程 K-means初值敏感 K-means聚类总结 算法复杂度O(nkt)，其中t是迭代次数。 优点： 是解决聚类问题的一种经典算法，简单、快速 对处理大数据集，该算法保持可伸缩性和高效率 当结果簇是密集的，而簇与簇之间区分明显时，它的效果较好 常常用于其他聚类算法的一个阶段，如谱聚类 K-means聚类总结 缺点： 在簇的平均值被定义的情况下才能使用，不适涉及有分类属性的数据 必须事先给出k（要生成的簇的数目），而且对初值敏感，对于不同的初始值，可能会导致不同结果。 不适合于发现非凸面形状的簇或者大小差别很大的簇 对躁声和孤立点数据敏感 算法常以局部最优结束 RBF网络学习算法的M