- 1、本文档共66页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
图7-1中 为神经元的内部状态, 为阈值, 为输入信号, , 表示从单元 到单元 的连接权系数, 为外部输入信号。
7.1 单神经元网络
第7章 典型神经网络
图7-1 单神经元模型
通常情况下,取
即
单神经元模型可描述为:
常用的神经元非线性特性有以下3种:
(1)阈值型
图7-2 阈值型函数
(2)分段线性型
图7-3 分段线性函数
(3)Sigmoid函数型
图7-4 Sigmoid函数
7.2 BP神经网络
1986年,Rumelhart等提出了误差反向传播神经网络,简称BP网络(Back Propagation),该网络是一种单向传播的多层前向网络。
误差反向传播的BP算法简称BP算法,其基本思想是梯度下降法。它采用梯度搜索技术,以期使网络的实际输出值与期望输出值的误差均方值为最小。
7.2.1 BP网络特点
(1)是一种多层网络,包括输入层、隐含层和输出层;
(2)层与层之间采用全互连方式,同一层神经元之间不连接;
(3)权值通过δ学习算法进行调节;
(4)神经元激发函数为S函数;
(5)学习算法由正向传播和反向传播组成;
(6)层与层的连接是单向的,信息的传播是双向的。
7.2.2 BP网络结构
含一个隐含层的BP网络结构如图7-5所示,图中 i为输入层神经元, j为隐层神经元,k为输出层神经元。
图7-5 BP神经网络结构
7.2.3 BP网络的逼近
BP网络逼近的结构如图7-6所示,图中k为网络的迭代步骤,u(k)和y(k)为逼近器的输入。BP为网络逼近器,y(k)为被控对象实际输出,yn(k)为BP的输出。将系统输出y(k)及输入u(k)的值作为逼近器BP的输入,将系统输出与网络输出的误差作为逼近器的调整信号。
图7-6 BP神经网络逼近
用于逼近的BP网络如图7-7所示。
图7-7 用于逼近的BP网络
BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中,输入信息从输入层经隐层逐层处理,并传向输出层,每层神经元(节点)的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出,则转至反向传播,将误差信号(理想输出与实际输出之差)按连接通路反向计算,由梯度下降法调整各层神经元的权值,使误差信号减小。
(1)前向传播:计算网络的输出。
隐层神经元的输入为所有输入的加权之和:
隐层神经元的输出采用S函数激发:
则
输出层神经元的输出:
网络输出与理想输出误差为:
误差性能指标函数为:
(2)反向传播:采用δ学习算法,调整各层间的权
值。
根据梯度下降法,权值的学习算法如下:
输出层及隐层的连接权值学习算法为:
k+1时刻网络的权值为:
隐层及输入层连接权值学习算法为:
其中
k+1时刻网络的权值为:
如果考虑上次权值对本次权值变化的影响,需要加入动量因子 ,此时的权值为:
其中, 为动量因子, 。
阵(即为对象的输出对控制输入的灵敏度信息)算法为:
其中取
7.2.4 BP网络的优缺点
BP网络的优点为:
(1)只要有足够多的隐层和隐层节点,BP网络可以逼近任意的非线性映射关系;
(2)BP网络的学习算法属于全局逼近算法,具有较强的泛化能力。
(3)BP网络输入输出之间的关联信息分布地存储在网络的连接权中,个别神经元的损坏只对输入输出关系有较小的影响,因而BP网络具有较好的容错性。
BP网络的主要缺点为:
(1)待寻优的参数多,收敛速度慢;
(2)目标函数存在多个极值点,按梯度下降法进行学习,很容易陷入局部极小值;
(3)难以确定隐层及隐层节点的数目。目前,如何根据特定的问题来确定具体的网络结构尚无很好的方法,仍需根据经验来试凑。
由于BP网络具有很好的逼近非线性映射的能力,该网络在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。
由于BP网络具有很好的逼近特性和泛化能力,可用于神经网络控制器的设计。但由于BP网络收敛速度慢,难以适应实时控制的要求。
7.2.5 BP网络逼近仿真实例
使用BP网络逼近对象:
BP网络逼近程序见chap7_1.m
BP网络逼近效果
BP网络逼近误差
Jacobian 信息的辨识
7.2.6 BP网络模式识别
由于神经网络具有自学习、自组织和并行处理等特征,并具有很强的容错能力和联想能力,因此,神经网络具有模式识别的能力。
文档评论(0)