第091讲 NN辨识.ppt

第九讲 现代辨识方法选讲 --1 神经网络辨识 主要内容(1) 主要内容 引言 人工神经网络概述 神经网络辨识并联方法 神经网络辨识串并联方法 神经网络辨识的发展 1. 引言(1/7) 1. 引言 由于NN,尤其是多层感知器(MLP),对连续函数映射关系具有较好的逼近能力,能以任意精度逼近平方可积的连续函数影射. 基于函数最优一致逼近的Weistrass定理可以证明,对任何平方可积函数,可以由多层BP网络以任意精度最优一致逼近. 因此NN是一种良好的函数逼近工具,可广泛应用于实质上可以归结为函数逼近问题的应用领域中,如 各种专门领域的数学模型实验建模、 控制与系统科学领域的系统辨识、 1. 引言(2/7) 模式识别中的分类问题、 曲线拟合、 回归分析等 对控制和系统科学的系统辨识问题,即为通过建模对象的实验数据或在线系统运行数据构造学习样本,去学习和逼近描述系统的动静态特性的输入输出函数关系,得到被控系统的数学模型并应用于系统分析、控制、决策及系统综合. 因此,系统辨识问题本质上属于函数逼近问题,具有良好函数逼近能力,万能(universal)的逼近工具--NN能很好地承担起系统辨识的任务. 1. 引言(3/7) 总所周知,传统辨识方法在线性离散系统的参数辨识领域已发展得非常深刻,应用也较成熟. 因此,研究NN辨识方法主要应利用NN处理具有 非线性、 并行性、 分布性、 容错性等特性, 以及未来的硬件可实现性所带来的高速信息运算与处理能力. 1. 引言(4/7) 着眼于研究 非线性系统辨识、 非参数辨识、 非结构辨识、 具有良好性鲁棒性和容错性的辨识方法、 在线高速或硬件辨识方法. 1. 引言(5/7) NN辨识比传统辨识方法优越之处： 避免了传统辨识方法的非线性系统辨识中的结构辨识问题,省去系统结构建模这一步,可调参数为NN的权值. 由于多层NN的神经元间的连接(突触)通过训练和自学习生成,无须辨识或确定非线性系统非线性环节的结构,因此NN辨识适宜于目前传统方法难以处理的非线性系统辨识问题. 可对本质非线性系统进行辨识,在网络外部含系统I/O特征,非算法式的. 辨识算法不依赖于辨识系统的维数,仅与NN本身和学习算法有关. 1. 引言(6/7) 由于NN能硬件实现,因此未来的硬件实现的NN辨识算法和NN模型将具有芯片级的处理速度,较之传统辨识方法具有无可比拟的速度优势,尤其对在线辨识和自适应控制更具优势. NN为实际系统的物理实现,可用于在在线控制. 1. 引言(7/7) 自80年代末,NN已成功应用于系统建模和辨识领域. 目前,动态系统NN辨识方法的研究成果主要有： NN辨识系统的结构 提高辨识方法(NN学习方法)的速度 增强辨识方法和辨识模型的鲁棒性 本讲主要介绍NN辨识系统的结构. 应用于控制领域系统辨识问题的NN辨识系统的结构主要有 并联结构 串并联结构 1. 引言(8/7) 下面分 人工神经网络概述 神经网络辨识并联方法 神经网络辨识串并联方法 神经网络辨识的发展 4个部分来介绍神经网络辨识方法. 2. 人工神经网络概述(1/1) 2. 人工神经网络概述 本节简单回顾一下人工神经网络(Artificial Neural Networks, ANN)的发展、原理、模型与学习算法.主要内容有： 人工神经网络研究的起源 人工神经网络的结构 神经元及其特性 人工神经网络的基本类型 人工神经网络的典型模型 人工神经网络示例及其算法 2.1 ANN研究的起源(1/6) 2.1 人工神经网络研究的起源 ANN研究的先锋,McCulloch和Pitts曾于1943年提出一种叫做“似脑机器”(mindlike machine)的思想,这种机器可由基于生物神经元特性的互连模型来制造,这就是ANN的概念. 60年代以前—萌芽期 他们构造了一个表示大脑基本组分的神经元模型,对逻辑操作系统表现出通用性. 随着大脑和计算机研究的进展,研究目标已从“似脑机器”变为“学习机器”,为此一直关心神经系统适应律的Hebb提出了学习模型. Hebb规则是第一个ANN的学习算法. 2.1 ANN研究的起源(2/6) 60年代—高潮期 Rosenblatt命名感知器,并设计一个引人注目的结构. 由于感知器的概念简单,但具有一定的逼近、分类和学习能力,使得ANN的研究吸引辽许多计算机科学领域、数学领域的研究的极大兴趣,掀起起了第一个ANN研究的热潮. 研究人员对感知器及其ANN的研究及未来的潜在应用前景寄与很大希望. 到60年代初期,关于学习系统的专用设计指南有Widrow等提出的Adaline(adaptive linear element,即自适应线性元)以及Steinbuch等提出的学习矩阵. 2.1 ANN研究的起源(3/6) 然而,在不久之后