RBF神经网络PPT演示课件.pptVIP

RLS算法--权值向量的递归最小二乘估计 未知权值向量 在最小二乘下最优化。也就是对权值向量求解上述法方程。 如果直接计算相关矩阵R(n)的逆矩阵，然后将求得的逆矩阵和互相关向量r(n)相乘，这就是最小二乘法所做的。但当隐藏层K非常大的时候，计算R(n)逆矩阵是非常困难的。所以这里引入了RLS（递归最小二乘）—运用最小二乘法的递归执行来应对这一计算困难。 首先我们将互相关向量变换格式： * RBF神经网络PPT演示课件全文共37页，当前为第32页。 * RLS算法--权值向量的递归最小二乘估计 现在我们可以将其简化成： 然后将该式代入法方程 得到： 那么进一步转化： RBF神经网络PPT演示课件全文共37页，当前为第33页。 * RLS算法--权值向量的递归最小二乘估计 现在我们已经得到了这个权值更新公式，那么接下去只要求得R(n)逆矩阵就可以了。上文中，我们这个公式涉及到了R(n): 针对这样的形式，我们通过利用“矩阵逆引理”得到逆矩阵的。首先看形如： 根据矩阵逆引理，可以得到： 关于这个的推导，提供一种思路：AA逆=E 那么A的逆必然可以表示成一个形如：B+X的形式，然后用:（B+X）*A的表达式 =E 这里假设矩阵B是非奇异的，那么B逆是存在的。矩阵A和矩阵B具有相同的维数，矩阵D式另一个具有不同维数的非奇异矩阵，矩阵C具有合适维数的矩阵 RBF神经网络PPT演示课件全文共37页，当前为第34页。 * RLS算法--权值向量的递归最小二乘估计 针对这个问题，那么我们就可以将： 类比得到R(n)的逆： 这样就得到了R(n)逆的递归公式： 那么权值向量的更新也就求出来了。 RBF神经网络PPT演示课件全文共37页，当前为第35页。 * RBF神经网络的学习过程 我们这里采用的RBF算法可以称为：“K均值，RLS”算法 首先将K-means算法用于训练隐藏层，然后利用RLS算法训练输出层。 1、输入层 输入层的大小是由输入向量x的维数决定的，记为m0 2、隐藏层 隐藏层大小m1是由计划的聚类数K决定的。K可以成为自由度。 聚类中心由k-means 算法计算得到，作为高斯函数的中心。 3、输出层 一旦隐藏层训练完成，就可以开始输出层的训练。使用RLS算法进行。 训练结束，就可以使用。 优点：计算高效性（得益于K-means和RLS算法的计算高效性）。 RBF神经网络PPT演示课件全文共37页，当前为第36页。 * 谢 谢！ RBF神经网络PPT演示课件全文共37页，当前为第37页。 RBF（径向基）神经网络 Keynote: 尤志强 * RBF神经网络PPT演示课件全文共37页，当前为第1页。 1、RBF函数是为了解决多变量插值问题2、RBF神经网络是为了解决非线性可分模式分类问题 * RBF神经网络PPT演示课件全文共37页，当前为第2页。 为什么要引入RBF神经网络？ * RBF神经网络PPT演示课件全文共37页，当前为第3页。 优点 ① 它具有唯一最佳逼近的特性，且无BP算法中存在的局部极小问题。 RBF神经网络具有较强的输入和输出映射功能，并且理论证明在前向网络中RBF网络是完成映射功能的最优网络。 ③ 网络连接权值与输出呈线性关系。 ④ 分类能力好。 ⑤ 学习过程收敛速度快。 * RBF神经网络PPT演示课件全文共37页，当前为第4页。 与BP神经网络的比较 Poggio和Girosi已经证明： RBF网络是连续函数的最佳逼近，而BP网络不是。 BP网络使用的Sigmoid函数具有全局特性，它在输入值的很大范围内每个节点都对输出值产生影响，并且激励函数在输入值的很大范围内相互重叠，因而相互影响，因此BP网络训练过程很长。 BP网络容易陷入局部极小的问题不可能从根本上避免 BP网络隐层节点数目的确定依赖于经验和试凑，很难得到最优网络。 RBF不仅有良好的泛化能力，而且对于每个输入值，只有很少几个节点具有非零激励值，因此只需很少部分节点及权值改变。 学习速度可以比通常的BP算法提高上千倍,容易适应新数据 * RBF神经网络PPT演示课件全文共37页，当前为第5页。 RBF神经网络是怎样的？ * RBF神经网络PPT演示课件全文共37页，当前为第6页。 RBF神经网络概念 1、1985年，Powell提出了多变量插值的径向基函数(Radical Basis Function，RBF)方法 2、1988年， Moody和Darken提出了一种神经网络结构，即RBF神经 网络 3、RBF网络是一种三层前向网络 4、基于“Cover理论” 5、用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接(