神经网络控制.ppt

神经网络控制;6.1 概述;6.1.2 人工神经元模型;第四页，共三十九页，2022年，8月28日;其输入、输出关系可描述为 其中， 是从其他神经元传来的输入信号； 表示从神经元j到神经元i的连接权值； 为阈值； 称为激发函数或作用函数。; 输出激发函数 又称为变换函数，它决定神经元（节点）的输出。该输出为1或0，取决于其输入之和大于或小于内部阈值 。函数 一般具有非线性特性。下图表示了几种常见的激发函数。 1. 阈值型函数（见图（a），（b）） 2. 饱和型函数（见图（c）） 3. 双曲函数（见图（d）） 4. S型函数（见（e）） 5. 高斯函数（见图（f））;;6.1.3 人工神经网络模型;1. 前馈型神经网络;第十页，共三十九页，2022年，8月28日;6.1.4 神经网络的学习方法;神经网络中常用的几种最基本的学习方法 ;2．Delta（δ）学习规则 δ规则实现了E中的梯度下降，因此使误差函数达到最小值。但δ学习规则只适用于线性可分函数，无法用于多层网络。BP网络的学习算法称为BP算法，是在δ规则基础上发展起来的，可在多网络上有效地学习。 ;3．概率式学习 从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习。神经网络处于某一状态的概率主要取决于在此状态下的能量，能量越低，概率越大。同时，此概率还取决于温度参数T。T越大，不同状态出现概率的差异便越小，较容易跳出能量的局部极小点而到全局的极小点；T越小时，情形正相反。概率式学习的典型代表是Boltzmann机学习规则。它是基于模拟退火的统计优化方法，因此又称模拟退火算法。 ;4．竞争式学习 竞争式学习属于无教师学习方式。此种学习方式利用不同层间的神经元发生兴奋性联接，以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接。在这种联接机制中引人竟争机制的学习方式称为竟争式学习。它的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识别。;6.2 前向神经网络;第十七页，共三十九页，2022年，8月28日;感知器的一种学习算法： ;6.2.2 BP??络;第二十页，共三十九页，2022年，8月28日;误差反向传播的BP算法简称BP算法，其基本思想是最小二乘算法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。 BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转人反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使误差信号最小。; 1．BP网络的前馈计算 2．BP网络权值的调整规则 1). 输出层权系数的调整 2). 隐含层节点权系数的调整 3．BP学习算法的计算步骤 ; 3．BP学习算法的计算步骤 1). 初始化 置所有权值为较小的随机数 2). 提供训练集 3). 计算实际输出，计算隐含层、输出层各神经元输出 4). 计算目标值与实际输出的偏差E 5). 计算 6). 计算 7). 返回“2）”重复计算，直到误差满足要求为止 ;第二十四页，共三十九页，2022年，8月28日;在使用BP算法时，应注意的几个问题是： 1). 学习开始时，各隐含层连接权系数的初值应以设置较小的随机数较为适宜。 2). 采用S型激发函数时，由于输出层各神经元的输出只能趋于1或0，不能达到1或0。在设置各训练样本时，期望的输出分量dpk不能设置为1或0，以设置为或0，1较为适宜。 3). 学习速率η的选择，在学习开始阶段，η选较大的值可以加快学习速度。学习接近优化区时，η值必须相当小，否则权系数将产生振荡而不收敛。平滑因子α的选值在左右。;6.2.3 BP网络学习算法的改进;2．多层前向BP网络的问题： 1). BP算法的学习速度很慢 2). 网络训练失败的可能性较大 3). 难以解决应用问题的实例规模和网络规模间的矛盾 4). 网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定 5). 新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同 6). 网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾 ;3．BP网络学习算法的改进 ;6.2.4 神经网络的训练;神经网络训练的具体步骤如下;6.4 神经网络P