RBF神经网络课件整理.ppt

RBF（径向基）神经网络 Keynote: 尤志强 1、RBF函数是为了解决多变量插值问题2、RBF神经网络是为了解决非线性可分模式分类问题 为什么要引入RBF神经网络？ 优点 ① 它具有唯一最佳逼近的特性，且无BP算法中存在的局部极小问题。 RBF神经网络具有较强的输入和输出映射功能，并且理论证明在前向网络中RBF网络是完成映射功能的最优网络。 ③ 网络连接权值与输出呈线性关系。 ④ 分类能力好。 ⑤ 学习过程收敛速度快。 与BP神经网络的比较 Poggio和Girosi已经证明： RBF网络是连续函数的最佳逼近，而BP网络不是。 BP网络使用的Sigmoid函数具有全局特性，它在输入值的很大范围内每个节点都对输出值产生影响，并且激励函数在输入值的很大范围内相互重叠，因而相互影响，因此BP网络训练过程很长。 BP网络容易陷入局部极小的问题不可能从根本上避免 BP网络隐层节点数目的确定依赖于经验和试凑，很难得到最优网络。 RBF不仅有良好的泛化能力，而且对于每个输入值，只有很少几个节点具有非零激励值，因此只需很少部分节点及权值改变。 学习速度可以比通常的BP算法提高上千倍,容易适应新数据 RBF神经网络是怎样的？ RBF神经网络概念 1、1985年，Powell提出了多变量插值的径向基函数(Radical Basis Function，RBF)方法 2、1988年， Moody和Darken提出了一种神经网络结构，即RBF神经 网络 3、RBF网络是一种三层前向网络 4、基于“Cover理论” 5、用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(即 不需要通过权连接)映射到隐空间 ； 当RBF的中心点确定后，映射关系也就确定； 隐含层空间到输出空间的映射是线性的 通过最小二乘估计来解给定的分类问题。 Cover理论 定义：假设空间不是稠密分布的，将复杂的模式分类问题非线性地投射到高维空 间将比投射到低微空间更可能是线性可分的。 x=0 Cover理论在RBF网络中应用 一个关于 的二分{1，2}是可分的。那么存在一个m1维的向量w使得可以得到如下公式（Cover ，1965）： ? ? 那么所获得的超平面的逆像就是： 总结：模式可分性的cover定理 1、由 2、高维数的隐藏空间，这里的高维数是相对于输入空间而言的。维数由赋给m1的值 （即隐藏单元的个数）决定。 3、理论证明（Nilsson，1965）证明：隐藏空间的维数m1越高，则二分概率越趋向于1 ? 注意：虽然说将一个复杂的模式分类问题非线性地投射到高维数空间将会比投射到低维数空间更可能线性可分。不过有时非线性映射就足够导致线性可分，而不必升高隐藏单元空间维数 XOR问题 XOR问题 RBF神经网络的插值问题 RBF神经网络是基于RBF函数，RBF函数是解决多变量插值问题 首先了解下什么是插值问题？ 插值问题 在工程技术上，给出一批离散的点，要求作出一条通过这些点的光滑曲线，以满足设计和加工的需要。反映在数学上，即已知函数在一些点的值，寻求它的分析表达式。 o x0 x1 x2 xn y0 y1 y2 yi xi yn Y(x) P(x)=? x0 x1 x2 xn xi xn y0 y1 y2 yi yn x0 x1 x2 xi xn y0 y1 y2 yi yn x0 x1 x2 xi xn xn y 插值问题 一是在选定近似函数H(x)后，不要求它们通过已知样点，只要求在某种意义下它在这些样点的总偏差最小----曲线拟合法。 二是给出函数f(x)的一些样点值，选定某些便于计算的函数，要求它们通过已知样点，由此确定函数H(x)为f(x)的近似值----插值法; RBF神经网络结构 这个网络,实现从输入空间到隐藏空间的一个非线性映射，随后从隐藏空间到输出空间是线性映射。 RBF中的插值问题 在RBF中是如何通过插值方法进行网路的训练呢？ 首先假设我们有N个m0维向量，那么我们就确定了输入层节点有 m0个。相当于一个从m0维输入空间到一维输出空间的映射，可以写成如下形式： 可以将映射S看成一个超曲面 这样，该插值问题可以描述如下： 给定一个包含N个不同点的集合 和相应的N个实数的一个集合 ，寻找一个函数F： 满足下述插值条件： F(Xi)=di, i=1,2,…..N 径向基函数技术就是要选择一个函数F具有下列形式： RBF中的插值问题 其中 ? 那么综合以上的公式，我们可以得到在径向基网络（输入参数有N个，隐藏层有N个节点，输出层有一个节点）中我们可以得到以下的线性方程： RBF中的插值问题 向量d表示期望响应向量，w表示线性权值向