几种神经网络模型及其应用.docVIP

几种神经网络模型及其应用 摘要：本文介绍了径向基网络，支撑矢量机，小波神经网络，反馈神经网络这几种神经网 络结构的基本概念与特点，并对它们在科研方面的具体应用做了一些介绍。 关键词： 神经网络 径向基网络 支撑矢量机 小波神经网络 反馈神经网络 Several neural network models and their application Abstract: This paper introduced the RBF networks, support vector machines, wavelet neural networks, feedback neural networks with their concepts and features, as well as their applications in scientific research field. Key words: neural networks RBF networks support vector machines wavelet neural networks feedback neural networks 2 引言 随着对神经网络理论的不断深入研究，其应用目前已经渗透到各个领域。并在智能控制， 模式识别，计算机视觉，自适应滤波和信号处理，非线性优化，语音识别，传感技术与机器 人，生物医学工程等方面取得了令人吃惊的成绩。本文介绍几种典型的神经网络，径向基神 经网络，支撑矢量机，小波神经网络和反馈神经网络的概念及它们在科研中的一些具体应用。 1. 径向基网络 1.1 径向基网络的概念 径向基的理论最早由 Hardy，Harder和 Desmarais 等人提出。径向基函数（Radial Basis Function，RBF）神经网络，它的输出与连接权之间呈线性关系，因此可采用保证全局收敛 的线性优化算法。径向基神经网络（RBFNN）是 3 层单元的神经网络，它是一种静态的神 经网络，与函数逼近理论相吻合并且具有唯一的最佳逼近点。由于其结构简单且神经元的敏 感区较小，因此可以广泛地应用于非线性函数的局部逼近中。主要影响其网络性能的参数有 3 个：输出层权值向量，隐层神经元的中心以及隐层神经元的宽度(方差)。一般径向基网络 的学习总是从网络的权值入手，然后逐步调整网络的其它参数，由于权值与神经元中心及宽 度有着直接关系，一旦权值确定，其它两个参数的调整就相对困难。 其一般结构如下： 如图 1 所示，该网络由三层构成,各层含义如下： 第一层：输入层：输入层神经元只起连接作用。 第二层：隐含层：隐含层神经元的变换函数为高斯核. 第三层：输出层：它对输入模式的作用做出响应. 图 1. 径向基神经网络拓扑结构 其数学模型通常如下： 设网络的输入为 x = ( x1 , x2 , ?, xH ) T，输入层神经元至隐含层第 j 个神经元的中心矢 为 vj = ( v1 j , v2 j , ?, vIj ) T (1 ≤j ≤H)，隐含层第 j 个神经元对应输入 x的状态为： zj = φ = ‖x - vj ‖ = exp Σx1 - vij ) 2 / (2σ2j ) ，其中σ(1≤j ≤H)为隐含层第 j个神经元的 控制参数。隐含层神经元至输出层第 k 个神经元的连接系数矢量为 wK = (w1K ，w2K ， ?， wHK (1 ≤k ≤p)，输出为： Yi =ΣHj = 0wij Zj ，其中 wi0 为节点 i 的阈值。 事实上，RBF神经网络可看作从特征子空间到类的映射，每类对应于网络一个输出结点 3 的响应。一般来说，输入层的结点数与输入特征矢量的维数相等，输出层的结点数就是待分 类模式类别数。 径向基函数φ()r 一般分为两类：局部的和整体的。如果limφ(r)为零，则称之为局部 r→∞ 径向基函数，否则称之为整体径向基函数。局部径向基函数旨在输入数据所在区域的中心插 值，而整体径向基函数可以全局插值。最常用的 RBF 神经网络的隐含层非线性函数是高斯函 数，其详细表达式描如下： 2 ? ||PC- || ? i RPi ()=-exp? 2 ? σ ? i ? 其中Ri (P)是隐含层第i个结点的输出，P是输入模式，Ci 是隐含层第i个结点基函数 2 的中心。σ 是第i个隐含结点的归一化参数，它决定该中心对应的基函数的作用范围，σ i i 又称之为 RBF 隐含结点的宽度系数。隐含结点输出在 0 和1之间，输入与中心的距离越近， 隐含结点的响应就越大。显然该高斯函数是径向对称的，即对于与基