第二章 神经网络控制系统.doc

第二章 神经网络控制系统 主讲人：钱锋 主 要 内 容 2.1 神经网络发展历程 2.2 人工神经元模型 2.3 人工神经网络的结构类型 2.4 人工神经网络的学习算法 2.5 人工神经网络的典型模型 2.6 神经网络在系统建模中的应用 2.7 基于神经网络的控制方案 2.1 神经网络发展历程 （1）奠基阶段 ? 1943年，McCulloch与Pitts合作提出了第一个神经 计算模型，简称MP模型。 ? 1949年，Hebb对大脑神经细胞、学习与条件反射作 了大胆地假设，提出Hebb学习规则。 ? 50年代初，神经网络理论具备了初步模拟实验条件。 2.1 神经网络发展历程 (2) 第一次高潮阶段 ? 1958年，Rosenblatt基于MP模型，增加了学习机 制，推广了MP模型。 ? 1960年，Widrow和Hoff提出了自适应线性元件 ADACINE网络模型。 2.1 神经网络发展历程 (3) 坚持阶段 ? 1969年，Minsky和Papert出版论著Percertrons，对 当时与感知器有关的研究及其发展产生了恶劣的影 响。 ? 1960年，Holland经过长期探索与实践，建立了遗传 算法理论。 ? 1976年，自适应共振理论(ART)、视觉图象识别的 Neocognitron模型、进化随机策略等理论相继提出。 2.1 神经网络发展历程 (4) 第二次高潮阶段 ? 1982年，Hopfield提出的神经网络模型，对神经网络 理论的发展产生了深远的影响。 ? 1984年，Hinton等人提出了Boltzmann机模型，借用 统计物理学中的概念和方法，引入了模拟退火方法。 ? 1986年，Rumelhart提出了BP算法，受到许多学者的 重视。 2.1 神经网络发展历程 (5) 新发展阶段 ? 90年代初，Edelman提出了Darwinism模型。 ? Miller基于小脑模型关节控制器(CMAC)，研究了非 线性动态系统控制问题。 ? 进化计算成为研究热点。 ? 1990年Takagi综述性地讨论了神经网络与模糊逻辑 的结合，模糊神经网络迅速发展。 主 要 内 容 2.1 神经网络发展历程 2.2 人工神经元模型 2.3 人工神经网络的结构类型 2.4 人工神经网络的学习算法 2.5 人工神经网络的典型模型 2.6 神经网络在系统建模中的应用 2.7 基于神经网络的控制方案 2.2 人工神经元模型 人工神经元模型是生物神经元的抽象和模拟，是神经网 络的最基本组成部分，一般是多输入-单输出的非线性 器件。如下图： x 1 w i1 x 2 w i 2 Σ θ i y i w in x n 人工神经元模型输入与输出之间的关系： n y = ∑ ?θ i f ( w x ij j ii f ( w x j 1 = ) 2.2 人工神经元模型 转换函数类型 （1）阀值型 f ( （2）分段线性型 ?1 x i x ) ? = i x 0 ? i f ≤ 0 0 f 1 0 x f (x i ) ? ≤ 0 x x i i0 ? = 0 p p ? kx x x i i i ? f x x ≥ ? max i i l x il f f max 0 x xil x i0 2.2 人工神经元模型 f 1 转换函数类型 0.5 （3）Sigmoid 函数型 f (x) = 1 + 1 x ? e T 0 x f （4）Tan函数型 1 f (x) = x e T x e T ? + x ? ? e e T x T 0 x 主 要 内 容 2.1 神经网络发展历程 2.2 人工神经元模型 2.3 人工神经网络的结构类型 2.4 人工神经网络的学习算法 2.5 人工神经网络的典型模型 2.6 神经网络在系统建模中的应用 2.7 基于神经网络的控制方案 2.3 人工神经网络的结构类型 人工神经网络由神经元模型构成；这种由许多神经元组成的信息处理 网络具有并行分布结构。每个神经元具有单一输出，并且能够与其它 神经元链接；存在许多输出连接方法，每种连接方法对应一个连接权 系数。严格地说，人工神经网络是一种具有以下特性的有向图： ? 对于每个结点i，存在一个状态变量xi ? 从节点j到结点i，存在一个连接权系数wij ? 对于每个结点i，存在一个阈值 ? 对于每个结点i，定义一个变换函数 f θ i (xi , wji , if θ ) 对于最一般的情况，此函数取为： f (∑ ?θ ) i w x ij j i j 2.3 人工神经网络的结构类型 典型神经网络结构 ? 前馈式网络 ? 输出反馈的前馈式网络 ? 前馈式内层互连网络 ? 反馈型全互连网络 ? 反馈型局部互连网络 2.3 人工神经网络的结构类型 前馈式网络神经元分层