第2章 神经网络控制课程.ppt

第2章 神经网络控制 2.1 神经网络基础 2.2 典型神经网络2.3 神经网络控制2.4 神经网络设计中的几个问题2.5 神经网络MATLAB工具 2.1 神经网络基础 2.1.1 神经网络发展历史 2.1.2 生物神经元模型 2.1.3 人工神经元模型 2.1.4 人工神经网络模型 2.1.5 神经网络的学习方法 2.1.2 生物神经元模型(neuron) 人脑大约包含1012个神经元，分成约1000种类型，每个神经元大约与102～104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式。同时，如此大量的神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。 神经元具有如下功能： (1)?兴奋与抑制：如果传入神经元的冲动经整和后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。如果传入神经元的冲动经整和后使细胞膜电位降低，低于动作电位的阈值时即为抑制状态，不产生神经冲动。 (2) 学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱，因此神经元具有学习与遗忘的功能。 决定神经网络模型性能三大要素为： (1)?神经元（信息处理单元）的特性； (2)?神经元之间相互连接的形式—拓扑结构； (3)?为适应环境而改善性能的学习规则。 2.1.3 人工神经元模型 人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本处理单元。如图所示为一种简化的人工神经元结构。它是一个多输入、单输出的非线性元件。 其输入、输出关系可描述为 其中， 是从其他神经元传来的输入信号； 表示从神经元j到神经元i的连接权值； 为阈值； 称为激励函数或作用函数(activation function) 。 输出激励函数 又称为变换函数，它决定神经元（节点）的输出。该输出为1或0，取决于其输入之和大于或小于内部阈值 。函数 一般具有非线性特性。下图表示了几种常见的激励函数。 1. 阈值型函数（见图（a），（b）） 2. 饱和型函数（见图（c）） 3. 双曲函数（见图（d）） 4. S型(Sigmoid)函数（见（e）） 5. 高斯函数（见图（f）） 2.1.4 人工神经网络模型 人工神经网络是以工程技术手段来模拟人脑神经元网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。就神经网络的主要连接型式而言，目前已有四十多种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。 1. 前馈型神经网络 前馈型神经网络，又称前向网络（Feed forward NN）。如图所示，神经元分层排列，有输入层、隐层（亦称中间层，可有若干层）和输出层，每一层的神经元只接受前一层神经元的输入。 1. 前馈型神经网络 从学习的观点来看，前馈网络是一种强有力的学习系统，其结构简单而易于编程；从系统的观点看，前馈网络是一静态非线性映射，通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。但从计算的观点看，缺乏丰富的动力学行为。大部分前馈网络都是学习网络，它们的分类能力和模式识别能力一般都强于反馈网络，典型的前馈网络有感知器网络、BP 网络等。 2. 反馈型神经网络 反馈型神经网络（Feedback NN）的结构如图所示。如果总节点（神经元）数为N，那么每个节点有N个输入和一个输出，也就是说，所有节点都是一样的，它们之间都可相互连接。 2.1.5 神经网络的学习方法 学习方法是体现人工神经网络智能特性的主要标志，离开了学习算法，人工神经网络就失去了自适应、自组织和自学习的能力。目前神经网络的学习方法有多种，按有无教师来分类，可分为有教师学习（Supervised Learning）、无教师学习（Unsupervised Learning）和再励学习（Reinforcement Learning）等几大类。 δ规则实现了E中的梯度下降，因此使误差函数达到最小值。但δ学习规则只适用于线性可分函数，无法用于多层网络。BP网络的学习算法称为BP算法，是在δ规则基础上发展起来的，可在多网络上有效地学习。 3．概率式学习 从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习。神经网络处于某一状态的概率主要取决于在此状态下的能量，能量越低，概率越大。同时，此概率还取决于温度参数T。T越大，不同状态出现