人工神经网络_ppt.pptVIP

2006-10-12 第*页 三、径向基函数网络 (Radial Based Function Networks) 解 给出了正则化问题的一般形式，任何Green函数都可以作为 构成正则化网络。当取 时称为“径向基函数网络”，Gauss函数是最常用的径向基函数。 得到Gauss径向基函数网络的另一形式： 如果令最后一个Gauss函数的 s = ∞ ，即： 径向基函数网络 相应的Green矩阵为： 2006-10-12 第*页 §3-7 径向基函数网络 解决减少径向基函数Ｇ(X, Xi) 的问题：—— 　Galerkin方法。 (3-52) 假设拟合函数的形式为： 其中：　　　　　,　　　　　　　　 为径向基函数，N 为样本数量。 为待定的径向基函数中心，　　　　　　　　　 为权值。 (3-53) 为了找到合理的权值　　　　　　　　　再次运用(3-10)所示正则化方程： 与前面不同的是，现在我们已经知道了F*的形式，再次建立正则方程的目的，是在正则条件下寻找最佳的权矢量 W 的解法。 第*页 令： (重写3-53)正则方程(Regularization Equation)： (3-53) 于是，(3-53)式第一项： 其中： 则： 第*页 (3-53)式第二项有： 再令： 利用 (3-16) 式 Euler-Lagrange 方程： 其中： 这里，函数：　　　　　　　 是微分算子 的Green函数： 于是，得到正则方程(3-53)第二项： 2006-10-12 (3-55) 令： 则以上结论可写成： 正则方程(3-53)成为： 由于函数F*形式已定，所以E只是权值W的函数： 于是，(3-53)式正则化问题简化为一个无约束函数优化问题： 得到： (3-56) 式中： 拟合函数： 径向基函数个数少于样本数 2006-10-12 第*页 一、随机选择径向基函数中心 (Gaussian径向基函数) 2、从 N 个学习样本中随机地抽取 M 个做为径向基函数的中心： 3、计算两两中心之间距离，取其最大者构造Gaussian函数： (3-57) (3-58) 具体Gaussian函数为： 1、依据有关问题的先验知识，人为确定神经元数量 Ｍ N ； §3-8 径向基函数中心的确定方法 相对于标准Gaussian函数　　　　　而言，相当于： 即，每个Gauss函数的±3s覆盖宽度为　　　　　。 2006-10-12 第*页 用K-means聚类算法选择径向基函数中心： (1). 在给定的 N 个学习样本{ Xn | n = 1, 2, …, N }中随机选择 M个{ t1, t2, …, tM } 做为初始中心； (2). 计算每个样本到各个中心的距离：dm,n=||tm - Xn||，如果样本Xn与中心 tm 之间距离最近，则将 Xn 划分到 tm 所代表的类 Cm 中。样本集合被分为 C1, C2, …, CM 共M类； (3). 对 C1, C2, …, CM 各类计算其重心，即，对该类所有样本进行矢量平均： 假设，Cm 类的样本集合为： 共 Nm个样本，则，计算重心的方法如下： 二、自组织选择径向基函数中心 2006-10-12 第*页 (4). 得到各类的重心{ t1, t2, …, tM }后，检查本次划分后各类的数量有无变化，若无变化则结束；若有变化，则转第(2)步以新的中心对全部样本重新进行划分。 运算实例：(CH3Clastering) 取M = 3,进行聚类。 原始数据和随机生成的三个中心。 聚类过程以及结果分布。 2006-10-12 第*页 §3-9 径向基网络的有监督自适应学习算法 需要学习的参数： 网络权值：w1, w2, …, wm1+1 ； 径向基函数中心位置： t1, t2, …, tm1 ； Gauss径向基函数的分布参数： s1, s2, …, sm1 ； 仅讨论Gauss径向基函数的情况： 有监督自适应学习的径向基网络 其中： 1、网络权值的学习算法 其中： n 为学习迭代过程序号，i 为权值序号。 ej (n) 是学习至第 n 代时输入第 j 个样本的输出误差， ej(n) = dj - F(Xj)。 2006-10-12 第*页 其中： G ’是径向基函数的导数关于 Xj 的值。 2、径向基函数中心位置的学习算法 3、径向基函