一类径向基数网络的分工协作混合系统.pdfVIP

一类径向基函数网的分工协作混合系统 专 业：应用数学 博士生：黄榕波 指导教师：朱思铭教授 摘要 隐藏层和输出层组成的三层结构的神经网络模型，由于它结构简单，学习效率高 并且收敛速度快，目前径向基函数网络已成为神经网络领域的研究热点，并被广 泛应用于数据挖掘、模式识别、信号处理和时间序列预测等等。一般地，网络的 行为与网络结构的复杂性密切相关，目前径向基函数网络的研究热点主要集中在 降低网络复杂性方面。对于径向基函数网络而言，输入维数是影响网络的复杂性 主要因素之一，而且在实际应用中，输入维数往往高达几百上千维，因此有效地 降低径向基函数网络输入维数是减少网络复杂性的最有效的途径，本文提出了径 向基函数网络的主成分分析(PrincipalComponentAnalysis，PCA)与独立成分分析 (Independent Component 提出一类径向基函数网络的分工协作混合系统(A Divide—and-ConquerHybrid BasedRadialBasisFunction System Networks，DCRBF]q)。分而治之 成简单小问题。 主成分分析PCA是一种非常有效的降低径向基函数网络输入维数的统计方 法，它的基本思想是通过取出输入因子中的主要因子作为径向基函数网络的输入 来达到降低输入维数的目的。在过去的十年中，一种新的统计分析方法——独立 成分分析ICA在信号处理和神经网络中被广泛研究和应用。ICA使用高阶统计 矩信息从输入因子中提取独立因子，最大可能地过滤其中的冗余的成分，而不会 丢失原来的统计信息，因此PCA和ICA是降低径向基函数网络输入维数的有效 方法。由于PCA只用到二阶矩信息，它提取的主因子之间只是不相关而不是真 正独立的因子，也就是说在降维过程中非主因子包含的有用信息丢失了；我们通 过实验比较了两种方法的效果，经过PCA技术预处理后径向基函数网络的行为 变差了，而ICA在降低了径向基函数网络的输入维数的同时，提高了系统的行 为。然而当样本容量过大时，ICA的学习过程过长，影响了整个系统的学习效率， 因此ICA的快速实现是一个值得研究的问题，我们提出了基于小波分析的ICA 快速实现并行结构及其算法。 DCRBFN由多个径向基函数网络组成，通过分工过程，每个径向基函数网 络具有较低的输入维数，它们的协作过程形成DCRBFN的输出。我们应用数学 的理论及方法对DCRBFN作了如下的研究： 件概率最大化算法和妥协算法，这三种算法都是梯度下降算法，梯度算法的参数 迭代过程是一个梯度系统，其收敛性已经有了比较好的结果。 分离函数集中稠密的结果，因此DCRBFN具有良好的逼近能力。 3、DCRBF的系统复杂性。根据统计学习理论的结构风险最小化原则， DCRBFN的风险泛函的值由两部分组成：经验风险与随机风险。而随机风险随 系统的VC维的增大而增大，因此降低系统VC维可以提高系统的学习推广能力。 我们证明了DCRBFN具有比扩展的径向基函数网络更小的VC维的界。从这个 意义上，DCRBFN具有更低的系统复杂性。 论证明了基于学习时间最小化的分解原则。 序列预测的应用和DCRBFN在反馈径向基函数网络中的应用。 Basis Radial A Based System Divide--and--ConquerHybrid FunctionNetworks Mathematics Applied