数模学习教材-第十九章 神经网络模型.pdfVIP

第十九章 神经网络模型 §1 神经网络简介 人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及 功能的一种抽象数学模型。自 1943 年美国心理学家 W. McCulloch 和数学家 W. Pitts 提 出形式神经元的抽象数学模型—MP 模型以来，人工神经网络理论技术经过了 50 多年 曲折的发展。特别是20 世纪 80 年代，人工神经网络的研究取得了重大进展，有关的理 论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。 它在模式识别，图像处理，智能控制，组合优化，金融预测与管理，通信，机器人以及 专家系统等领域得到广泛的应用，提出了 40 多种神经网络模型，其中比较著名的有感 知机，Hopfield 网络，Boltzman 机，自适应共振理论及反向传播网络（BP ）等。在这 里我们仅讨论最基本的网络模型及其学习算法。 1.1 人工神经元模型 图 1 表示出了作为人工神经网络（artificial neural network，以下简称NN ）的基本 单元的神经元模型，它有三个基本要素： 图 1 神经元模型 （i ）一组连接（对应于生物神经元的突触），连接强度由各连接上的权值表示，权 值为正表示激活，为负表示抑制。 （ii ）一个求和单元，用于求取各输入信号的加权和（线性组合）。 （iii ）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范 围内（一般限制在(0,1) 或(−1,1) 之间）。 此外还有一个阈值θ （或偏置b −θ ）。 k k k 以上作用可分别以数学式表达出来： p u ∑w x ， v u −θ ， y ϕ(v ) k kj j k k k k k j 1 式中x ,x ,L,x 为输入信号，w , w ,L, w 为神经元k 之权值，u 为线性组合结 1 2 p k 1 k 2 kp k 果，θ 为阈值，ϕ(⋅) 为激活函数，y 为神经元k 的输出。 k k 若把输入的维数增加一维，则可把阈值θ 包括进去。例如 k p v ∑w x ，y ϕ(u ) k kj j k k j 0 此处增加了一个新的连接，其输入为 +1 x −1 （或 ），权值为w θ （或b ），如 0 k 0 k k -350- 图2 所示。 图2 神经元模型 激活函数ϕ(⋅) 可以有以下几种: （i ）阈值函数 1, v ≥0 ⎧ ϕ(v) ⎨ （1） 0, v 0