常用神经网络分类解析.docVIP

神经网络的分类解析 共　10　页 设计单位：南昌航空大学信息工程学院 二O一二年 七 月 目 录 概述 2 1 BP神经网络 2 1.1 主要功能 3 1.2 优点及其局限性 3 2 RBF（径向基）神经网络 4 2.1 主要功能 4 2.2 优点及其局限性 4 3 感知器神经网络 5 3.1 主要功能 5 3.2 优点及其局限性 5 4 线性神经网络 5 4.1 主要功能 6 4.2优点及其局限性 6 5自组织神经网络 6 5.1 自组织竞争网络 7 5.2 自组织特征映射网络 7 5.3 学习向量量化网络 8 5.4 主要功能 8 5.5 优点及其局限性 8 6 反馈神经网络 8 6.1 Elman神经网络 9 6.2 Hopfield网络 9 6.3 主要应用 9 6.4 优点及其局限性 9 7 K近邻算法 10 7.1 主要用途 10 7.2 优点及其局限性 10 概述 本文主要介绍了当前常用的神经网络，这些神经网络主要有哪些用途，以及各种神经网络的优点和局限性。 1 BP神经网络 BP (Back Propagation)神经网络是一种神经网络学习算法。其由输入层、中间层、输出层组成的阶层型神经网络，中间层可扩展为多层。相邻层之间各神经元进行全连接，而每层各神经元之间无连接，网络按有教师示教的方式进行学习，当一对学习模式提供给网络后，各神经元获得网络的输入响应产生连接权值（Weight）。然后按减小希望输出与实际输出误差的方向，从输出层经各中间层逐层修正各连接权，回到输入层。此过程反复交替进行，直至网络的全局误差趋向给定的极小值，即完成学习的过程。F 为所连单元的输入层节点数 1.1 主要功能 （1）函数逼近：用输入向量和相应的输出向量训练一个网络以逼近一个函数。 （2）模式识别：用一个待定的输出向量将它与输入向量联系起来。 （3）分类：把输入向量所定义的合适方式进行分类。 （4）数据压缩：减少输出向量维数以便传输或存储。 1.2 优点及其局限性 BP神经网络最主要的优点是具有极强的非线性映射能力。理论上对于一个三层和三层以上的BP网络只要隐层神经元数目足够多该网络就能以任意精度逼近一个非线性函数。其次BP神经网络具有对外界刺激和输入信息进行联想记忆的能力。这是因为它采用了分布并行的信息处理方式对信息的提取必须采用联想的方式才能将相关神经元全部调动起来。BP 神经网络通过预先存储信息和学习机制进行自适应训练可以从不完整的信息和噪声干扰中恢复原始的完整信息。这种能力使其在图像复原、语言处理、模式识别等方面具有重要应用。再次BP 神经网络对外界输入样本有很强的识别与分类能力。由于它具有强大的非线性处理能力因此可以较好地进行非线性分类, 解决了神经网络发展史上的非线性分类难题。另外 BP 神经网络具有优化计算能力。BP神经网络本质上是一个非线性优化问题, 它可以在已知的约束条件下寻找一组参数组合使该组合确定的目标函数达到最小。不过其优化计算存在局部极小问题必须通过改进完善。由于BP训练中稳定性要求学习效率很小，所以梯度下降法使得训练很慢。动量法因为学习率的提高通常比单纯的梯度下降法要快一些，但在实际应用中还是速度不够，这两种方法通常只应用于递增训练。 多层神经网络可以应用于线性系统和非线性系统中，对于任意函数模拟逼近。当然，感知器和线性神经网络能够解决这类网络问题。但是，虽然理论上是可行的，但实际上BP网络并不一定总能有解。 对于非线性系统，选择合适的学习率是一个重要的问题。在线性网络中学习率过大会导致训练过程不稳定。相反，学习率过小又会造成训练时间过长。和线性网络不同，对于非线性多层网络很难选择很好的学习率。对那些快速训练算法，缺省参数值基本上都是最有效的设置。 非线性网络的误差面比线性网络的误差面复杂得多，问题在于多层网络中非线性传递函数多个局部最优解。寻优的过程与初始点的选择关系很大，初始点如果更靠近局部最优点，而不是全局最优点，就不会得到正确的结果，这也是多层网络无法得到最优解的一个原因。为了解决这个问题，在实际训练过程中，应重复选取多个初始点进行训练，以保证训练结果的全局最优性。 网络隐层神经元的数目也对网络一定的影响。神经元数目太少会造成网络的不适性，而神经元数目太多又会引起网络的过适性。(RBF-Radial Basis Function)神经网络是由J.Moody和C.Darken在80年代末提出的一种神经网络,它是具有单隐层的三层前馈网络。由于它模拟了人脑中局部调整、相互覆盖接收域（或称感受野-Receptive Field）的神经网络结构，因此，RBF网络是一种局部逼近网络，它能够以任意精度逼近任意连续函数，特别适合于解决分类问题。 2.1 主要功能 图像处理，语音识别，时间系列预测，雷达原点定