泛函在网络工程及应用.docVIP

泛函网络的理论基础及国内外研究现状 1泛函网络的提出 近年来，由计算数学而导致的神经计算学科正得到迅速发展，如主分量分析（PCA），独立分量分析（ICA）多项式求根等问题。人工神经网络（ANN）的研究自从20世纪80年代形成热潮，至今已有20多年了，其应用范围已扩展到许多领域，ANN对信息的存储及处理表现在各神经元的连接强度上，ANN学习的目的就是修正网络的权值，尽管ANN算法在许多情况下性能良好，但由于实际中神经网络存在结构过于复杂，节点过多，并且在学习中容易陷入局部极小点而导致逼近能力有限等问题，因此在一些复杂系统建模时，仍存在较大的建模误差，而且网络的其他特性在网络学习之前已确定，由于这些信息在学习阶段无法修改，在一定程度上限制了ANN的应用范围。于是吴佑寿等人提出一种可激活函数神经元模型，在解决某些问题时，根据问题的先验知识，选用激活函数使它和特解问题相适应，这正是泛函网络的出发点所在。 2泛函网络在国内外研究现状 泛函网络是1998年由E.Castillo提出的，是对神经网络的一种有效推广。与神经网络不同，它在各个神经元之间的连接没有权值，并且神经元函数不固定，而是可学习的，是一个给定的函数族的组合。我们可以根据特定的问题来选择不同的函数族。在国内也有人对泛函网络进行了一定的研究，2005年周永权提出了“分层泛函网络整体学习算法”，2006年提出了“一种复值可分离的泛函网络学习算法”，“新型Singma-Pi泛函网络模型”，写出了一系列有关泛函网络应用的文章，2007年又对“泛函网络神经元函数类型优化”进行了研究，还有人写了“非线性系统识别的一种泛函网方法”。 从这些可以看出，泛函网络是值得研究的方向，并且在一些领域已取得了比较好的结果，迄今为止国内外关于泛函网络用于预测研究和应用的文献还很少。 网络的拓扑结构 在图1中画出了一个典型的泛函网络模型图，中主要组成部分如下： 一个输入单元层，其功能是输入信息，在图中输入层包含{X1，X2，X3}，输入单元以带有相应名字的实心圆来表示。 若干中间存储单元层，它存储由神经元产生的信息，在图1中只有一个中间存储单元层，包含{X4，X5}，也以带有相应名字的实心圆来表示。 一层或多层泛函神经元，每一个神经元是一个计算单元，它计算的是一组来自前一层神经元或输入单元的输入值，并给下一层神经元或输出单元提供数据，计算单元相互连接，每一个神经元的输出可作为另一个神经元或者输出单元输出数据的一部分，一旦给定输入值，输出便由神经元的类型来确定，它由一函数定义，在图1中有两层泛函神经元，分别为{f1，f2}和{f3}. 输出层，这是最后一层单元，它输出网络的结果是数据，输出单元也以带有相应名字的实心圆来表示，图1中为{X6}. 一些直接连接，它们连接输入层，中间层神经元和输出层，在图1中用箭头表示，箭头的方向表示信息流的方向。 图1一个泛函网络模型图 所有这写元素一起形成了泛函网络的结构，它确定了网络的泛函能力。在泛函网络情形，人们通常的做法是根据问题的需要，将每一神经元函数f1表示成一些已知函数族的线性组合的形式，如多项式，三角函数等。 泛函网络与神经网络的区别 图2 对应于图1的神经网络结构 图2给出了相对应1的神经网络结构。从图1图2的结构可以看出，神经网络和泛函网络之间最明显的区别是（1）在神经网络中，神经元的激活函数是固定的，通常的激活函数有Sigmoid函数，三角波状函数，，梯形函数和RBF等。激活函数一经选定，就不再改变。事实上，这种假定不尽合理。我们知道，在日常生活中，有的人在学习是对问题能很快理解，有些人则不然，这说明同一类型的神经元细胞对外来信号的处理功能因人而异，有的人善于适应，有的人难于适应。而泛函网络的神经元函数是用一些已知基函数族的线性组合来表示，基函数是可训练的，在学习过程中能自适应调整或改变假设，是合理的。 （2）在神经网络中，对激活函数的连接权值进行训练，而初始权值的选定直接影响这神经网络的收敛速度，泛函网络没有权值，只对激活函数进行训练。 （3）在神经网络中，输出单元是单个伸进元的输出，而在泛函网络中输出单元可以是一个或多个神经元等。 当前对神经网络的研究大都把它看做一个“黑箱”，只靠某种算法调整其权值来获得所需的结果，没有充分利用自己的先验知识，盲目性较大。实际上，在解决某些问题时，要有一定的先验知识作为向导。如果充分利用先验知识，在训练之前，选用和待解问题相“适配”的激活函数，则求解问题会比较容易；而泛函网络不像神经网络，它是利用问题的物理特性和先验知识来产生网络的初始结构，网络的参数的学习通过求解线性方程组而获得，因此求解问题变得容易。 泛函网络的模型和学习算法 既然泛函网络作为神经网络的一种推广与神经网络一样，泛函网络也有各种各样的结构，我们不可能