第六章 神经网络 优化设计方法学.pptVIP

６ .1 发展历史 1943 年， 心理学 家 W.S.McCulloch 和数理 逻辑学 家 W.Pitts 建立 了神经网络和 数学模型 ，称为 MP 模型。他们通过 MP 模型提出 了神经元的形式化数学描述和网络结构方法，证明了单个神经 元能执行逻辑功能，从而开创了人工神经网络研究的时代。 1949 年，心理学家提出了突触联系强度可变的设想。 60 年代， 人工神经网络得到了进一步发展，更完善的 神经网络模型 被提 出人工神经网络，其中包括感知器和自适应线性元件等。 M.Minsky 等仔细分析了以感知器为代表的神经网络系统的功能 及局限后，于 1969 年出版了《 Perceptron 》一书，指出感知器 不能解决高阶谓词问题。他们的论点极大地影响了神经网络的 研究，加之当时串行 计算机 和人工智能所取得的成就，掩盖了 发展新型计算机和人工智能新途径的必要性和迫切性，使人工 神经网络的研究处于低潮。 ６ .1 发展历史 1982 年，美国加州工学院 物理学家 J.J.Hopfield 提出了 Hopfield 神 经 网格 模型，引入了“计算 能量 ”概念，给出了网络稳定性判断。 1984 年，他又提出了连续时间 Hopfield 神经网络模型，为 神经计算 机 的研究做了开拓性的工作，开创了神经网络用于联想记忆和优 化计算的新途径，有力地推动了神经网络的研究， 1985 年，又有学者提出了波耳兹曼模型，在学习中采用 统计热力 学 模拟退火技术，保证整个系统趋于全局稳定点。 1986 年， Rumelhart, Hinton, Williams 发展了 BP 算法 。 Rumelhart 和 McClelland 出版了《 Parallel distribution processing: explorations in the microstructures of cognition 》。迄今， BP 算 法已被用于解决大量实际问题。 1988 年， Linsker 对感知机网络提 出了新的自组织理论，并在 Shanon 信息论的基础上形成了最大互 信息理论，从而点燃了基于 NN 的信息应用理论的光芒。 ６ .1 发展历史 1988 年， Linsker 对感知机网络提出了新的自组织理论，并在 Shanon 信息论的基础上形成了最大互信息理论，从而点燃了基于 NN 的信息应用理论的光芒。 1988 年， Broomhead 和 Lowe 用径向基函数 (Radial basis function, RBF) 提出分层网络的设计方法，从而将 NN 的设计与数值分析和线 性适应滤波相挂钩。 90 年代初， Vapnik 等提出了支持向量机 (Support vector machines, SVM) 和 VC(Vapnik-Chervonenkis) 维数的概念。 ６ . ２ 神经网络 ? 人工神经网络（ Artificial Neural Networks ，简写 为 ANNs ）也简称为神经网络（ NNs ）或称作连接 模型（ Connection Model ），它是一种模仿动物 神经网络行为特征，进行分布式并行信息处理的算 法数学模型。这种网络依靠系统的复杂程度，通过 调整内部大量节点之间相互连接的关系，从而达到 处理信息的目的。 ６ . ２ 神经网络 ? 人工神经网络是一种应用类似于大脑神经突触联接的结构 进行信息处理的数学模型。在工程与学术界也常直接简称 为神经网络或类神经网络。神经网络是一种运算模型，由 大量的节点（或称神经元）之间相互联接构成。每个节点 代表一种特定的输出函数，称为 激励函数 （ activation function ）。每两个节点间的连接都代表一个对于通过该 连接信号的加权值，称之为权重，这相当于人工神经网络 的记忆。网络的输出则依网络的连接方式，权重值和 激励 函数 的不同而不同。而网络自身通常都是对 自然界 某种算 法或者函数的逼近，也可能是对一种逻辑策略的表达。 ６ . ３ 神经元 如图所示 a1~an 为输入向量的各个分量 w1~wn 为神经元各个突触的权值 b 为偏置 f 为传递函数，通常为 非线性函数 。以下默认为 hardlim() t 为神经元输出 数学表示 t=f(WA+b) W 为权向量 A 为输入向量， A 为 A 向量的转置 b 为偏置 f 为传递函数 ６ . ４ 神经网络的基本特征 人工神经网络是由大量处理单元互联组成的非线性、自适应信 息处理系统。人工神经网络具有四个基本特征： （ 1 ） 非线性 人工神经元处于激活或抑制二种不同的状态， 具有阈值的神经元构成的网络具有更好的性能，可以提高容错 性和存储容量。 （ 2 ） 非局限性 一个系统的整体行为