MLPRBFSVM网络比较及其应用前景.doc

MLP、RBF、SVM网络比较及其应用前景 ??? 摘? 要：?本文主要对MLP、RBF、SVM三种神经网络进行了详细的分析与讨论，从三种网络的结构、学习算法、功能和性能等方面进行了比较。同时，结合自己的研究方向讨论了三种结构的神经网络的应用前景。 1.????? 引言 ??????? 神经网络(neural network，NN)是一个以有向图为拓扑结构的动态系统，它通过对连续或断续式的输入作状态响应而进行信息处理。是一个高度复杂的非线性动力学系统，不但具有一般非线性系统的共性，更主要的是它还具有自己的特点，比如高维性、神经元之间的广泛互连性以及自适应性或自组织性等。 神经网络是在许多学科的基础上发展起来的，它的深入研究必然会带动其它相关学科的发展。它在数学理论本质上是非线性的数学理论，因此，现代非线性科学方面的进展必将推动神经网络的研究，同时，神经网络理论也会对非线性科学提出新课题。MLP(multilayer perceptron)、RBF(radial basis funtion)、SVM(support vector machine)三种网络是神经网络中研究的一个重点，它们具有很强的分类能力，它能解决模式分布非常复杂的分类问题，但是在结构和功能上存在一些差别。 1.????? 网络结构 2.1单隐层MLP网络结构 ???????? 它由三部分组成：一组感知单元(源节点)组成输入层、一层计算节点的隐含层、一层计算节点的输出层。第一层的激活函数为对数s形函数，第二层激活函数为线性函数。如图1所示,第一层的输出为，第二层的输出为,其中a为输出，上标代表网络的层数，W为各层的权值，b为网络偏置。MLP是单层感知机的推广，它能解决单层感知机所不能解决的非线性问题。 图1单隐层MLP网络结构 2.2 RBF网络结构 ??????? ?RBF网络是一个三层结构的前馈网，它的隐层为径向基神经元结构。径向基神经元的净输入采用距离函数（如欧式距离）乘以偏置，并使用径向基函数作为激活函数。网络结构如下图2所示。 ? 图2 ?RBF网络结构 其中，R代表输入层并指出输入维数；代表由径向基神经元构成的隐层并指出神经元数目；是线性输出层。 它的基本思想是：用RBF作为“隐”单元的基构成隐含层空间，将输入矢量直接(即不需要经过权连接)映射隐空间；当RBF的中心确定后，映射关系也就确定了；隐含层空间到输出层空间直接的映射是线性的。 2.3 SVM网络结构 ??????? SVM是一种基于结构风险最小化准则的学习方法。对于线性可分的二分类问题，试图寻找最优线性分界面，让这个分界面使两类模式向量分开的间隔最大，SVM网络原理如图3所示。对于线性不可分的二分类问题，通过寻找一个核函数，通过某种非线性映射将样本映射到一个高维空间（特征空间），在这个高维空间中构造最 优分类超平面，不同的核函数将形成不同的算法，常用的有多项式核函数，径向基函数，其结构如图4所示。 ????????????????????????? 图3 SVM网络原理图 两分类的线性判别函数的一般表达式为??????????????，其支持向量机的最优分界面为： ?图4 SVM网络结构 ? ?? ???? 对于线性不可分的问题，通过某种非线性映射将样本映射到一个高维空间，在这个高维空间构造最优分类超平面，最优超平面为。 3.???? 学习算法 3.1单隐层MLP网络学习算法 3.1.1 BP学习算法 ???????? BP算法是LMS算法的扩展，它使用均方误差最小化的最速下降法，用来训练MLP网络。LMS算法则用来训练单层的感知机。核心思想是将输出误差以某种形式通过隐层向输入层逐层反传，即信号的正向传播，误差的反向传播。近似最速下降法表示如下： ????? ?????? BP算法流程如下：前向传播：给各连接权值分别赋一个区间（-1，1）内的随机数，选择一个数据输入，从第一层开始，计算每一层输出并保存各层输出。 反向传播：计算最后一层输出和目标输出的差e=t-a,并根据公式计算最后一层的敏感性,其中为网络第M层输出函数对净输入n求导，最后一层为线性函数，求导为1。按照公式计算前一层的敏感性，直到第一层,其中为第m层到m-1层的权值。调权值：可以从第一层开始，也可以从最后一层开始进行调权，可按照下公式调节权值。 选择下一个输入，继续上面的过程，直到网络收敛为止。 ????? 标准BP算法实际上是一种简单的最速下降静态寻优算法，在修正W(k)时，只是按照k时刻的负梯度方式进行修正，而没有考虑到以前积累的经验，即以前时刻的梯度方向，从而使学习过程发生振荡，收敛缓慢。 3.1.2 基于动量的BP学习算法 ???????????? 由于BP算法的收敛速度比较慢，可能有多个局部极小点