神经计算机网络和支持向量机.pdf

·1054 · 第43 章 神经网络和支持向量机 43 章 神经网络和支持向量机 43.1 BP 神经网络 近年来全球性的神经网络研究热潮的再度兴起，不仅仅是因为神经科学本身取得了 巨大的进展。更主要的原因在于发展新型计算机和人工智能新途径的迫切需要。迄今为 止在需要人工智能解决的许多问题中，人脑远比计算机聪明得多，要开创具有智能的新 一代计算机，就必须了解人脑，研究人脑神经网络系统信息处理的机制。另一方 ，基 于神经科学研究成果基础上发展出来的人工神经网络模型，反映了人脑功能的若干基本 特性，开拓了神经网络用于计算机新途径。它对传统计算机结构和人工智能是一个有力 的挑战，引起了各方 专家的极大关注． 目前，已发展了几十种神经网络，如Hopficld 模型、Feldmann 等的连接型网络模型、 Hinton 等的玻尔兹曼机模型以及Rumelhart 等的多层感知机模型和Kohonen 的自组织网 络模型等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。多层感知 机神经网络的研究始于20 世纪50 年代，但一直进展不大。直到 1985 年，Rumelhart 等 提出了误差反向传递学习算法(即BP 算) ，实现了Minsky 的多层网络设想，如图43-1 所 示。 输入层 中间 隐含 层 输出层 ( ) 图43-1 BP 神经网络模型 BP 算法不仅有输入层节点、输出层节点，还 有一个或多个隐含层节点。对于输入 信号，要先向前传播到隐含层节点，经作用函数后，再把隐节点的输出信号传播到输出 节点，最后给出输出结果。节点的作用的激励函数通常选取S 型函数，如 1 f (x ) x / Q 1 e 中Q 为调整激励函数形 的Sigmoid 参数。该算法的学习过程由正向传播和反向传播 组成。在正向传播过程中，输入信息 输入层经隐含层逐层处理，并传向输出层。每一 层神经元的状态只影响下一层神经元的状态。如果输出层得不到期望的输出，则转入反 向传播，将误差信号沿原来的连接通道返回，通过修改各层神经元的权值，使得误差信 号最小。 43.1 BP 神经网络 ·1055 · 设含有n 个节点的任意网络，各节点之特性为Sigmoid 型。为简便起见，指定网络 只有一个输出y ，任一节点i 的输出为O ，并设有N 个样本(x ，y )(k=1 ，2 ，3 ，…，N) ， i k k 对某一输入xk ，网络输出为y k 节点i 的输出为Oik ，节点j 的输入为 net = W O jk ij ik i 1 N ˆ 2 ˆ 2 并将误差函数定义为E (y y ) ，其中y 为网络实际输出，定义E =(y -ŷ ) ，