精选第8章 基于数学原理的神经网络不讲.pptVIP

1 第八章 基于数学原理的神经网络 除了的多层感知器外， 径向基函数神经网络 ( Radial Basis Function Neural Network ， RBF 网 ) 是另一类常用的 3 层前馈网络，也可用于函数逼近 及分类。 与 BP 网相比， RBF 网结构更简洁，学习速度 也更快。 本章介绍 RBF 网的结构、工作原理和常用学习 算法。 2 8.1 径向基函数 RBF 8.1.1 基于径向基函数技术的函数逼近与内插 对于 RBF 网络工作原理的理解可基于 2 种不 同的角度： ①当用 RBF 网络解决 非线性映射 问题时，用 函数逼近与内插 的观点来理解； ②当用 RBF 网络解决复杂的 模式分类 任务时， 用 模式可分性 观点来理解。 3 1963 年 Davis 提出高维空间的多变量插值理论。径向 基函数是 20 世纪 80 年代后期 Powell 解决多变量有限点 插值问题时引入的。 设 N 维空间有 P 个数据点 X p ， p =1, 2, …, P ，在输出 空间相应的目标值为 d p ， p =1, 2, …, P 。插值问题是寻 找一个非线性映射函数 F( X ) ，使其满足下述插值条件 F( X p )= d p ， p =1, 2, …, P (8.1) 式中，函数 F 描述了一个插值曲面。 严格插值或精确插值 ：是一种完全内插，即该插值 曲面必须通过所有数据点。 4 选择 P 个基函数，每一个基函数对应一个训 练数据，各基函数的形式为 ) ( p X X ? ? , p =1, 2, …, P (8.2) 基于径向基函数技术的插值函数定义为基函数的线 性组合 ? ? ? ? P p p p w 1 ) ( ) ( X X X F ? (8.3) 5 P P p p P p P p p p P p p p d w d w d w ? ? ? ? ? ? ? ? ? ? ? ? 1 2 1 2 1 1 1 ) ( ) ( ) ( X X X X X X ? ? ? ? (8.4) 6 ) ( p i ip X X ? ? ? ? 令 ， i =1, 2, …, P ， p =1, 2, …, P ， 则上述方程组可改写为 P p p d w ? ? ? 1 1 ? 1p ? P p p d w ? ? ? 2 1 ? 2p P p p d w ? ? ? P 1 ? Pp ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? p p PP P P P P d d d w w w ? ? ? ? ? ? ? ? 2 1 2 1 2 1 2 22 21 1 12 11 ? ? ? ? ? ? ? ? ? (8.5) 7 令 Φ 表示元素为 φ ip 的 P × P 阶矩阵， W 和 d 分别表示 系数向量和期望输出向量，式 (8.5) 还可写成下面的向量 形式 d ΦW ? (8.6) 式中 Φ 称为插值矩阵。若 Φ 为可逆矩阵，就可以从式 (8.6) 中解出系数向量 W ，即 d Φ W 1 ? ? (8.7) 8 3 种常见的径向基函数 9 10 (1) 由于插值曲面必须通过所有训练数据点，当训 练数据中存在噪声时，神经网络将拟合出一个错误的插 值曲面，从而使其泛化能力下降。 (2) 由于径向基函数的数量与训练样本数量相等，当 训练样本数远远大于物理过程中固有的自由度时，插值 矩阵求逆时可能导致不稳定。 11 8.1.2 正则化 RBF 网络 能够实现完全内插的输入 - 输出映射函数有很多，若 输入 - 输出映射函数是光滑的，则问题的解是连续的，意 味着 相似的输入对应着相似的输出 。 正则化理论表明，当映射函数 F( X ) 的基函数为 Green 函数时，可保证函数的光滑性。 ? ? ? P p p p G w 1 ) , ( ) ( X