《模式识别》课件 第七章 人工神经网络.ppt

径向基函数网络（RBF网络）是一种常用的前馈神经网络。（拓扑结构比较固定）特征：只有一个隐层；隐层单元采用径向基函数作为输出函数；（非线性映射，将原始空间投影到高维，从而线性可分。）输入层到隐层单元间的权值固定为1；输出结点为线性求和单元隐层到输出结点的权值可调7.2.2RBF网络径向基函数的作用往往是局部的，离中心越远函数值越小。常用的径向基函数是高斯函数。其中：输入向量第i个隐结点的中心径向基函数（RadialBasisFunction）：某种沿径向对称的标量函数。通常定义为空间中任意一点到某一中心之间欧氏距离的单调函数。记为：中心和宽度两个参数可调7.2.2RBF网络可以从两个方面理解RBF网络函数逼近：把网络看成对未知函数f(x)的逼近器。一般任何函数都可以表示成一组基函数的加权和，这相当于用隐层单元的输出函数构成一组基函数来逼近f(x)。线性分类：把隐层看做是对输入的非线性映射（通常将低维线性不可分的样本映射到高维空间），再用线性分类器（输出结点的输出函数是线性函数）分类。7.2.2RBF网络RBF网络学习算法RBF网络中有三组参数可调：隐层基函数的中心、方差，以及隐层结点与输出结点之间的权值。RBF网络学习算法的两个阶段确定RBF函数的中心（核函数的参数）：无师学习训练隐层与输出结点之间的权值：有师学习7.2.2RBF网络RBF网络学习算法Step1：对所有样本的输入进行聚类（可以采用k均值聚类算法），求得各隐层结点RBF函数的中心。Step2：当RBF函数的中心ci确定后，训练隐层与输出结点之间的权值。这是一个线性优化问题。（利用训练样本监督完成，如最小二乘法，梯度下降法）7.2.2RBF网络RBF网络的优缺点RBF网络与BP网络主要的不同点是：在非线性映射上采用了不同的输出函数，分别为径向基函数与Sigmoid函数。前者的作用是局部的，后者的作用是全局的。已经证明，RBF网络具有唯一最佳逼近的特性，且无局部极小，可以获得全局最优解。径向基函数、隐层结点个数难以确定（人工神经网络的公共问题），目前尚无解决方案。隐层结点RBF函数的中心难以求解，阻碍了RBF网络的广泛应用。7.2.2RBF网络7.2.3BP网络BP(BackPropagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。BP神经网络具有任意复杂的模式分类能力和优良的多维函数映射能力，解决了简单感知器不能解决的异或(ExclusiveOR，XOR)和一些其他问题。从结构上讲，BP网络具有输入层、隐藏层和输出层；从本质上讲，BP算法就是以网络误差平方为目标函数、采用梯度下降法来计算目标函数的最小值。BP神经网络基本原理：BP神经网络的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小。正向传播时，输入信号通过隐含层作用于输出节点，经过非线性变换，产生输出信号，若实际输出与期望输出不相符，则转入误差的反向传播过程。反向传播时，将输出误差通过隐含层向输入层逐层反传，并将误差分摊给各层所有单元，以从各层获得的误差信号作为调整各单元权值的依据。通过调整输入节点与隐层节点的联接强度和隐层节点与输出节点的联接强度以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数(权值和阈值)，训练即告停止。7.2.3BP网络BP神经网络结构：BP网络是在输入层与输出层之间增加若干层(一层或多层)神经元，这些神经元称为隐单元，它们与外界没有直接的联系，但其状态的改变，能影响输入与输出之间的关系，每一层可以有若干个节点。BP网络优缺点：BP神经网络无论在网络理论还是在性能方面已比较成熟。其突出优点就是具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。BP神经网络也存在以下的一些主要缺陷。比如学习速度慢，即使是一个简单的问题，一般也需要几百次甚至上千次的学习才能收敛；容易陷入局部极小值；网络层数、神经元个数的选择没有相应的理论指导；网络推广能力有限。7.2.3BP网络7.2.4Hopfield网络Hopfield神经网络是一种单层互相全连接的反馈型神经网络。每个神经元既是输入也是输出，网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。即：网络中的神经元在t时刻的输出状