径向基神经网络学习算法(RBF).pptxVIP

径向基神经网络及其算法 Mezer chen 2018.5.9 RBF简介 1989年，Moody和Darken提出了一种由两个阶段组成的混合学习过程的思路。 ①无监督的自组织学习阶段 ②有监督学习阶段 其任务是用自组织聚类方法为隐层节点的径向基函数确定合适的数据中心，并根据各中心之间的距离确定隐节点的扩展常数。 一般采用Duda和Hart1973年提出的k-means聚类算法。 其任务是用有监督学习算法训练输出层权值，一般采用梯度法进行训练。 RBF网络的工作原理 RBF网络特点 只有一个隐含层，且隐层神经元与输出层神经元的模型不同。 隐层节点激活函数为径向基函数，输出层节点激活函数为线性函数。 隐层节点激活函数的净输入是输入向量与节点中心的距离（范数）而非向量内积，且节点中心不可调。 隐层节点参数确定后，输出权值可通过解线性方程组得到。 隐层节点的非线性变换把线性不可分问题转化为线性可分问题。 局部逼近网络（MLP是全局逼近网络)，这意味着逼近一个输入输出映射时，在相同逼近精度要求下，RBF所需的时间要比MLP少。 具有唯一最佳逼近的特性，无局部极小。 合适的隐层节点数、节点中心和宽度不易确定。 RBF神经网络中心选取 ① 从样本输入中选取中心 一般来说，样本密集的地方中心点可以适当多些，样本稀疏的地方中心点可以少些；若数据本身是均匀分布的，中心点也可以均匀分布。总之，选出的数据中心应具有代表性。径向基函数的扩展常数是根据数据中心的散布而确定的，为了避免每个径向基函数太尖或太平，一种选择方法是将所有径向基函数的扩展常数设为 ② 自组织选取中心法 常采用各种动态聚类算法对数据中心进行自组织选择，在学习过程中需对数据中心的位置进行动态调节。常用的方法是K-means聚类，其优点是能根据各聚类中心之间的距离确定各隐节点的扩展常数。由于RBF网的隐节点数对其泛化能力有极大的影响，所以寻找能确定聚类数目的合理方法，是聚类方法设计RBF网时需首先解决的问题。除聚类算法外，还有梯度训练方法、资源分配网络(RAN)等 ③ 随机选取中心法 条件：典型的训练样本，隐含单元的中心是 随机的在输入 样本中选取，且中心固定。因此此算法学习的参数只 有两个：方差和权值 ④ 正交最小二乘法选取 RBF神经网络的性能严重依赖于所选择的中心数目和位置是否合适实际中，人们一般是随机地从输入模式中选择中心，或用某种聚类算法(如:K均值算法)选择出确定数目的中心，这样通常导致所设计的网络性能不是很差就是规模过大，甚至造成数值病态问题.Chen, Cowan,Grant (1992）提出的OLS(正交最小二乘)前向选择算法将RBF中心的选择归结为线性回归中子模型的选择问题。这种算法能自动地避免网络规模过大和随机选择中心带来的数值病态问题，是一种有效的自动选择中心的算法。 1. Gaussian（高斯）函数： 2. Reflected sigmoidal(反常S型)函数： 3.逆Multiquadric函数(逆畸变校正)函数： σ 称为基函数的扩展常数或宽度， σ越小，径向基函数的宽度越小，基函数就越有选择性。 径向基神经网络传递函数 RBF神经网络两种模型 正则化网络RN 广义网络GN 通用逼近器 模式分类 基本思想： 通过加入一个含有解的先验知识的约束来 控制映射函数的光滑性，若输入输出映射 函数是光滑的，则重建问题的解是连续的， 意味着相似的输入对应着相似的输出。 基本思想： 用径向基函数作为隐单元的“基”，构成隐含 层空间。隐含层对输入向量进行变换，将低维 空间的模式变换到高维空间内，使得在低维 空间内的线性不可分问题在高维空间内线性可分。 两种模型的比较 隐节点数=输入样本数 隐节点数＜输入样本数 所有输入样本设为 径向基函数的中心 径向基函数的中心 由训练算法确定 径向基函数 取统一的扩展常数 径向基函数的扩展常数 不再统一由训练算法确定 没有设置阈值 输出函数的线性中包含阈值参数， 用于补偿基函数在样本集上的平均 值，比较目标值与平均值的差别。 正规化网络 广义网络 全局逼近和局部逼近 全局逼近网络 局部逼近网络 当神经网络的一个或多个可调参数(权值和阈值)对任何一个输出都有影响，则称该神经网络为全局逼近网络。 对网络输入空间的某个局部区域只有少数几个连接权影响网络的输出，则称该网络为局部逼近网络。 学习速度很慢，无法满足实时性要求的应用 学习速度快，有可能满足有实时性要求的应用 函数逼近问题（内插值） 模式分类 低维空间：线性不可分 高维空间：线性可分 空间转换 关于对单层感知器的讨论