除聚类算法外.PPT

各聚类中心确定后，可根据各中心之间的距 离确定对应径向基函数的扩展常数。令 则扩展常数可取为 为重叠系数 权值的学习可以用LMS学习算法 注意：①LMS算法的输入为RBF网络隐含层的输出 ②RBF网络输出层的神经元只是对隐含层 神经元的输出加权和。 因此RBF网络的实际输出为 其中 用LMS方法求解 用伪逆方法求解 为期望响应 是矩阵 的伪逆 伪逆的求法 奇异矩阵或非方阵的矩阵不存在逆矩阵，若XAX=A,AXA=X 则X称为A的伪逆阵。在matlab中用pinv（A）求伪逆 RBF中心以及网络的其他自由参数都是通过有监督的学习来确定，以单输出的RBF为例 定义目标函数 误差信号 寻求网络的自由参数 （与中心 有关）使目标函数 达到最小 N是训练样本的个数 2.隐含层RBF中心 3.隐含层RBF的扩展 其中 是 的导数 条件：典型的训练样本，隐含单元的中心是 随机的在输入样本中选取，且中心固定。因此此算法学习的参数只有两个： 方差和权值 四.OLS学习算法 RBF神经网络的性能严重依赖于所选择的中心数目和位置是否合适实际中，人们一般是随机地从输入模式中选择中心，或用某种聚类算法(如:K均值算法)选择出确定数目的中心，这样通常导致所设计的网络性能不是很差就是规模过大，甚至造成数值病态问题.Chen, Cowan,Grant (1992）提出的OLS(正交最小二乘)前向选择算法将RBF中心的选择归结为线性回归中子模型的选择问题这种算法能自动地避免网络规模过大和随机选择中心带来的数值病态问题，是一种有效的自动选择中心的算法。 只有一个隐层，且隐层神经元与输出层神经元的模型不同。 隐层节点激活函数为径向基函数，输出层节点激活函数为线性函数。 隐层节点激活函数的净输入是输入向量与节点中心的距离（范数）而非向量内积，且节点中心不可调。 隐层节点参数确定后，输出权值可通过解线性方程组得到。 隐层节点的非线性变换把线性不可分问题转化为线性可分问题。 局部逼近网络（MLP是全局逼近网络)，这意味着逼近一个输入输出映射时，在相同逼近精度要求下，RBF所需的时间要比MLP少。 具有唯一最佳逼近的特性，无局部极小。 合适的隐层节点数、节点中心和宽度不易确定。 1. Gauss（高斯）函数： 2. 反演S型函数： 3. 拟多二次函数： σ 称为基函数的扩展常数或宽度， σ越小，径向基函数的宽度越小，基函数就越有选择性。 径向基函数（RBF） 全局逼近网络 局部逼近网络 当神经网络的一个或多个可调参数(权值和阈值)对任何一个输出都有影响，则称该神经网络为全局逼近网络。 对网络输入空间的某个局部区域只有少数几个连接权影响网络的输出，则称该网络为局部逼近网络 学习速度很慢，无法满足实时性要求的应用 学习速度快，有可能满足有实时性要求的应用 函数逼近： 以任意精度逼近任一连续函数。一般函数都可表示成一组 基函数的线性组合，RBF网络相当于用隐层单元的输出构 成一组基函数，然后用输出层来进行线性组合，以完成 逼近功能。 分类： 解决非线性可分问题。RBF网络用隐层单元先将非线性可 分的输入空间设法变换到线性可分的特征空间（通常是高 维空间），然后用输出层来进行线性划分，完成分类功能。 正规化网络RN 广义网络GN 通用逼近器 模式分类 基本思想： 通过加入一个含有解的先验知识的约束来 控制映射函数的光滑性，若输入一输出映射 函数是光滑的，则重建问题的解是连续的， 意味着相似的输入对应着相似的输出。 基本思想： 用径向基函数作为隐单元的“基”，构成隐含 层空间。隐含层对输入向量进行变换，将低维 空间的模式变换到高维空间内，使得在低维 空间内的线性不可分问题在高维空间内线性可分。 隐节点=输入样本数 隐节点＜输入样本数 所有输入样本设为 径向基函数的中心 径向基函数的中心 由训练算法确定 径向基函数 取统一的扩展常数 径向基函数的扩展常数 不再统一由训练算法确定 没有设置阈值 输出函数的线性中包含阈值参数， 用于补偿基函数在样本集上的 平均值与目标值之平均值之间的差别。 RN GN 一般函数都可表示成一组基函数的线性组合，RBF网络相当于用隐层单元的输出构成一组基函数，然后用输出层来进行线性组合，以完成逼近功能。①给定样本数据 ②寻找函数，使其满足： 1.网络隐层使用Ｑ个隐节点。 2.把所有Ｑ个样本输入分别作为Ｑ个隐节点的中心。 3.各基函数取相同的扩展常数。 4.确定权值可解