第3节+径向基函数网络02.pptVIP

2006-10-12 第*页 正则化重构模型： 令： 则： (3-38) 一、方法归纳 §3-6 正则网络 (3-29) 给定样本： 待定参数： 其中 中心在 Xi 的径向基函数。 2006-10-12 第*页 二、正则网络 (Regularization Network) 网络首层神经元数量与样本数量相同。 网络模型： 当以Gaussian函数为Green函数时， 第 i 个神经元的运算为： 给定 N 个学习样本后，由公式(3-38)计算得到权值 W，即完成了学习。 (1). 全局近似器(Universal approximator)，可以拟合任意曲线； (2). 最佳拟合； (3). 全局最优，不存在局部最优问题； 特点： (4). 神经元个数与样本数量 N 相同，计算复杂度与 N 3 成正比。 2006-10-12 第*页 三、径向基函数网络 (Radial Based Function Networks) 正则化问题的解： 给出了正则化问题的一般形式，任何Green函数都可以作为 构成正则化网络。当取 时称为“径向基函数网络”。Gaussian函数是径向基函数的特例。 径向基函数网络的另一更加常用形式： 神经元数量 N - 1，学习样本数量 N； 径向基函数网络 可以在第二层神经元增加硬限幅功能函数； 2006-10-12 第*页 §3-7 径向基函数网络 径向基函数的数量少于学习样本数量： 求 W 的 Galerkin 方法： 令 情况下的拟合函数为： (3-50) 为线性独立的基函数； 为待定权值。 具体径向基函数 的形式为 (3-51) 为径向基函数 的待定中心； 由此径向基函数得到的拟合函数的形式为： (3-52) 与前面不同的是，现在我们已经知道了F*的形式，再次建立正则方程的目的，是在正则条件下寻找最佳的权矢量 W 的解法。正则方程是优化问题常用的“目标函数”，广泛用于工程优化中。医学CT成像就是基于正则方法求解反问题(Inverse Problem 或称“反卷积问题”Deconvolution Problem)的一个成功的工程范例。 2006-10-12 第*页 再次运用(3-10)正则化方程： 令： (3-53) 于是，(3-53)式第一项写成矩阵形式： (3-53)式第二项有： 再令： 利用 (3-16) 式 Euler-Lagrange 方程 2006-10-12 第*页 根据 Green 函数定义(3-21)式： 注意到 wj 为常数且有(3-25)式： 对换求和与积分的顺序： 令： 得到： 重写前面推导的结果： (3-54) (3-55) 利用 d 函数的筛选特性： 2006-10-12 第*页 将以上得到的关于正则方程中第二项的结果代回到(3-53)式正则方程得到： 为了在正则条件下取得权值矢量W，对上式取权矢量W的微分，并令其为0得到： 得到： (3-56) 相应的网络结构为： 此即神经元数量少于样本数量时的学习算法。 其中：G矩阵规模 N×m1； G0矩阵规模 m1×m1。 N：样本数量； m1：径向基中心个数，即神经元个数。 2006-10-12 第*页 增加一个单位元的情况 即 m1 +1 N的情况，网络结构如图所示： 其拟合函数（或称重构函数Reconstructed Function）为： 将最后的单位元看成一个特殊的径向基函数： 令权值矢量为列矢量： 于是，在(3-56)学习算法中，Green矩阵应为： 2006-10-12 第*页 一、随机选择径向基函数中心 (Gaussian径向基函数) 2、从 N 个学习样本中随机地抽取 m1 个做为径向基函数的中心： 3、计算各个中心之间距离，取其最大者构造Gaussian函数： (3-57) (3-58) 相对于标准Gaussian函数而言，相当于： 具体Gaussian函数为： 1、依据有关问题的先验知识，人为确定神经元数量 m1 N ； §3-8 径向基函数中心的确定方法 2006-10-12 第*页 二、自组织选择径向基函数中心 用K-means聚类算法选择径向基函数