径向基函数网络中的高斯核宽度优化.docVIP

径向基函数网络中的高斯核宽度的优化 Nabil Benoudjit1, Cédric Archambeau1, Amaury Lendasse2, John Lee1, Michel Verleysen1,? 1 Université Catholique de Louvain - Microelectronics Laboratoy, Place du Levant 3, B-1348 Louvain-la-Neuve, Belgium, Phone : +32-10-47-25-40, Fax : +32-10-47-21-80 Email : {benoudjit, archambeau, lee, verleysen}@dice.ucl.ac.be 2 Université Catholique de Louvain – CESAME, Avenue G. Lema?tre 4, B-1348 Louvain-la-Neuve, Belgium, Email : lendasse@auto.ucl.ac.be 摘要：径向基函数网络经常通过一个三阶段的程序。在学术文献中，很多论文致力于对于高斯核位置的估计，以及其的计算。同时，也有很少关注高斯核宽度的估计。在文中，第一，我们提出了一种探索式的优化方法对于宽度进行优化以达到一般化的目的。其次，我们 1.引言 人工神经网络（ANN）被大量应用于分类估计和函数估计。最近，已经证明很多都是广义函数的近似。因此，他们常被用来函数插值。 在分类中，我们发现径向基函数网络（RBF）和多层感知器（MLP）。两者都是多层网络，而且他们都可以认为是连接器模型。两者都需要通过一个足够大的数据集合近似的过程。即使这样，径向基网络和多层感知器的过程是不一样的。 多层感知器通过一个控的技术一个非线性约束方程集来计算重集。相反，径向基函数可以被分解为一个无控的部分和一个控的部分。无控的更新技术是而且相对快速的。同时，它的控部分一个线性问题，因此也是快速的。径向基函数网络的实现方法可以的减少运算时间节约运算资源。 2.径向基网络函数 一个径向基网络函数是一个三层的人工神经网络。考虑一个未知的函数在一个径向基函数网络中，通过一系列d维的函数来近似估计。那些径向基函数被集中于一个位置精确的数据点，被称为矩心。这些矩心可以认为是隐藏层的节点。通常，这些矩心点的位置和径向基函数的宽度通过一个无控的工具获得，虽然输出层的重量通过一个有控单向的过程计算，这个过程运用伪逆矩阵或者单值分解法。 || ||表示欧式距离， 函数的近似可以表达为一个现行的径向基函数的组合： Moody 和 Darken[11]，从另一个角度，提出了对最近的r个相邻点的进行探索的方法计算宽度因子： ， （8） 式中：是最近的个相邻点的矩心。的一个初选的假定值为2。 第二种方法的优势在于充分考虑到数据分布的变换。在实际应用中，这种方法的效果更明显，因为它比固定宽度的方法更具适应性。即使这样，我们下面会介绍，它所得到的宽度值依然不是最优的。 在本文中，我们尝试把各种方法结合起来。首先，我们运用了一种经典的方法计算了不同数据从之间的标准偏差。其次，我们确定了一个适用于所有高斯核的宽度比例因子。则核的宽度被定义为如下表达式： ， （9） 由于我们允许最优高斯核间相互重叠，通过插入宽度比例因子，对函数的估计变得更加平滑，因此方法的一般化过程也更加有效。 然而，最优的宽度比例因子取决于函数估计的准确性，输入集合的维度以及数据分布情况。因此我们必须采取一种探索式的方法获得最优宽度因子。 考虑一个宽度因子集合。对于每一个值，我们成功的估计除了标准误差，并选做均方误差。最优的对应于最小的误差： 。 （10） 当计算得到几个极小值后，通常我们建议选取对应于最小的宽度重叠因子的一个。根据复杂性，重复性和/或数字不稳定性的原因，必须避免较大的。下节中我们将具体说明这一点，并证明我们的关于一些人造的或现实中问题的解决方法的有效性。 5. 结果 在这一部分，我们阐明了优化高斯核宽度的需要和以此提高一般化过程的目的，并且我们比较了这种探索式的方法和MD以及S所提出的方法。 考虑数据是从一个一维正弦曲线中随机挑选的数据： 图2画出了这个方程和它对应的近似曲线。在图三中我们画出了函数和均方差函数。我们把实验重复了50次。你会发现，在一些情况中，次最小值出现在高于的位置。不过，次最小值的出现并没有规律而且非常偶然，正如均值曲线所表现的那样。此外，当我们通过增加集合的数据量来改进学习过程时，没有规律的最小值消失了（图4和图5）。的最优值因此就得到了，比如大约是2。 第二个集合如下给出： 函数和径向基的逼近如图6所示，其的值如图7所示。这里我们观察了两组最小值。