基于熵聚类泛函网络神经元函数优化.docVIP

基于熵聚类泛函网络神经元函数优化 　　摘要：泛函网络是神经网络的一般化推广，同神经网络一样，至今还没有系统设计方法能够对给定问题设计出近似最优的结构。鉴于此，利用熵聚类的思想来设计泛函网络，对网络每一神经元的基函数和泛函参数共存且相互影响的最优搜索来实现泛函网络结构和泛函参数的共同学习。提出一基于熵聚类思想来设计泛函网络的方法，有效地提高了泛函网络的收敛精度，并可获得更为合理的网络结构。 　　关键词：泛函网络；熵聚类；神经元函数 　　中图分类号：TP18文献标识码：A文章编号：1009-3044(2012)03-0673-04 　　Optimizing Neuron Function Based on Entropy Clustering in Functional Networks 　　ZHANG Jun 　　(People’s Bank of China, Urumqi Central Branch,Urumqi 830002, China) 　　Abstract: Functional network is a recently introduced extension of neural networks,.Like neural networks ,nowdays,there is no system de? signing method for designing approximation functional networks structure. Because of that, A new entropy clustering method designing functional network, combing each neuron function and functional parameters by performing the optimal search to achieve the learning be? wteen functional network structure and the functional parameters These results also show that the proposed method in this paper can pro? duce very rational structure and functional networks convergent precision are improved greatly. 　　Key words: functional networks;entropy clustering; neuron function 　　自1998年Castillo提出泛函网络[1]以来，泛函网络成功地被应用与混沌时间序列的预测，微分、差分和泛函方程的求解，CAD,线性、非线性回归[2],非线性系统辨识[[3]等，泛函网络在解决上述问题中都表现出较好的性能。 　　然而，泛函网络同神经网络一样，其结构设计是一个复杂问题，其复杂性重要表现在三个方面：第一，采用什么类型的泛函网络结构和基函数簇，往往由人类专家根据经验知识做出判断；第二，泛函网络的结构和泛函参数的确定，这一点往往很难由人工确定；第三，在网络结构确定的基础上，同样存在局部极小问题。目前，也有一些用遗传规划[4]来解决以上问题，并取得了很好的成果。但是基函数簇如何选取，理论上至今还没有给出一个通用的设计方法，基函??簇选取的好坏直接影响着泛函网络的逼近性能，如何避免因基函数簇样本选取不足而导致泛函网络的逼近误差过大或过多而导致过配问题。文章提出熵的聚类思想来解决这问题提供了一条新的更有潜力的途径。熵聚类的思想最大的特点是对输入数据进行分析，根据每个点的熵值进行归类。利用熵聚类得出泛函网络中基函数集中函数的个数，如选择径向基函数作为基函数集的话，通过熵聚类不仅能找出基函数个数还能确定其中心值。 　　基于此，文中将熵聚类思想与泛函网络结合，把泛函网络看成是结构和参数的优化搜索过程，对泛函网络结构和泛函参数共存且相互影响进行最优搜索实现泛函网路结构和泛函参数的共同学习，提出一种基于熵聚类的泛函网络方法。为了更能体现出熵聚类的优越性，文章将采用径向基函数来作为基函数集。可以通过熵聚类来确定中心的位置。最后仿真实验证明，利用熵聚类确定网络的结构及大小，最终改善了泛函网络的性能。 　　 1基于熵聚类的泛函网络设计方法 　　 1.1泛函网络模型 　　一般地泛函网络[1]由以下元素组成：1)输入单入层:这是输入数据的一层单元，输入单元以带有相应名字的实心圆来表示；2）输出单元层：这是最后一层单元，它输出网络的结果是数据。输出单元也是带有相应的名字来表示