神经网络全局收敛快速算法在非线性建模中的应用.pdfVIP

第16卷 第1期 厦门理工学院学报 V01．16 No．1 2008年3月 Journal of Xiamen University of Technology Mar．20o8 神经网络全局收敛快速算法在非线性建模中的应用 赖桂文 ，王永初2 (1．厦门理工学院机械工程系，福建厦门361024；2．华侨大学机电及自动化学院，福建泉州362011) [摘 要]把神经网络当作结构已知的非线性系统，权系数的学习看成非线性系统的参数估计，给出 前馈神经网络在线运行投影学习算法，理论上证明算法的全局收敛性，并讨论算法参数的选择范围．通过 非线性时变系统的神经网络建模应用的仿真，验证算法的在线运行能力． [关键词]神经网络；非线性系统；投影算法；全局收敛；在线运行 [中图分类号]TP183 [文献标志码]A [文章编号]1008—3804(2008)01—0023—06 0 引言 多层前馈神经网络广泛应用于非线性复杂系统的建模和控制，前馈网络的权系数学习训练一般采 用基于梯度的反向传播BP算法．该算法不仅收敛速度慢，难以在线执行学习，而且不能从理论上保 证收敛结果的全局最优性，存在局部极值．为得到全局最优的前馈网络学习算法，许多研究者提出采 用随机优化技术，如模拟退火法、趋药分类法、遗传算法、蚁群算法-】 等训练神经网络，但这些算 法都是离线批量算法，无法在线执行．文献 [5—6]把递推最小二乘 (RLS)技术应用于多层前馈 神经网络的训练，能得到全局最优解，但算法的执行过程中，计算量和存储量远远超过基本BP算 法，给具体应用带来了困难．虽然不少研究者在神经网络快速算法研究中作了不少工作 ，但基本 上仍属于离线批量算法，难以在线实时运行．本文通过基于新估计准则的非线性系统在线参数估计投 影算法，把此算法用于前馈神经网络的权系数学习训练，得到一种前馈网络全局收敛的在线学习算 法，此算法执行简单，计算量和存储量较小，通过给出算法的收敛性证明和算法参数的选择以及对非 线性系统的建模仿真结果来验证此算法的有效性和实时性． 1 非线性在线参数估计投影算法分析 设非线性动态离散过程为： Y =F(X ，0 )， (1) 其中0…为非线性系统在k+1时刻的未知结构参数， 为非线性系统的输人向量，由系统的现在k 时刻和过去的输人输出数据组成，即X =[Y ，Y¨，…，Y ，u ，u¨，…，u ]，Y为系统输出，u为 系统输入，n ，n 分别为系统输出、输入的结构阶次．则基于参数估计新准则函数： J(0)=[Y + 一F(X ， + )] 一 ( + 一 ) (2) 可导出非线性系统在线参数估计投影算法： + == +———— ()， + ——F(X ， )) (3) [收稿日期]2007—12—25 [修回日期]2008—02—20 [基金项目]福建省教育厅A类科技资助项目 (JA06057) [作者简介]赖桂文 (1966一)，男，福建武平人，副教授，从事自适应控制、神经网络等方面的教学和研究 厦门理工学院学报 2008正 定义e 垒)，川一F( ， )，则非线性系统的在线参数估计投影算法也可表示为： ： + — 巳 (4) + I 十 其中A是为了考虑算法的通用性和方便算法性质分析而加上去的， 是权重因子， a F(