基函数神经网络逼近能力探讨及全局收敛性分析.pdfVIP

、＼ ． 研究与开发 基函数神经网络逼近能力探讨 及全局收敛性分析 ★ 肖秀春 1,2 ， 张雨浓 ， 姜孝华 ， 彭啸亚 (1．广东海洋大学信息学院，湛江 524088；2．中山大学信息科学与技术学院 ，广州 510275) 摘 要：构建一类新型基函数神经网络。依据梯度下降法思想，给出该神经网络的权值迭代公 式．证 明迭代序列能全局收敛到网络的最优权值 。并 由此推导出基 于伪逆 的最优权值一 步计算公式——简称为权值直接确定法。理论分析表明，该新型神经网络具有最佳均方 逼近 能力和全局收敛性质 ．其权值直接确定法避免 了冗长迭代计算、易陷于局部极小 点、学-．-j率难选取等传统BP神经网络难以解决的难题 ．仿真验证显示其相对BP神经网 络的各种改进算法具有运算速度快、计算精度 高等优势。且对于噪声有 良好的滤除特 性 。 关键词：基函数神经网络；权值直接确定 ；全局收敛性 ；逼近性能 0 引 言 络进行 了性能比较。 传统BP神经网络及其学习算法存在一些局限6[-~1． 1 网络模型结构 例如：迭代过程冗长 ，学习过程易发生震荡 ；难以确保 如图 1所示 ．本文构造的基函数神经网络模型可 搜索到全局最优点 ：网络 隐神经元数过多时 ．算法的 为三层前 向结构，即由输入层、隐层和输出层构成。其 时间及空间代价高 尽管某些改进 BP算法 ．例如加 中．输入层、输 出层各有一个神经元并使用线性激励 动量项的BP算法、拟牛顿 BP算法、与遗传算法结合 函数：隐层有 n个神经元且使用一组线性无关的基 函 的BP算法 、与模拟退火结合 的BP算法等可从一定 数作为各隐神经元的激励函数 另外 ．所有神经元 阈 程度上克服上述缺陷 ．但这些改进并没有从根本上解 值参数设定为0：输入层神经元与隐神经元之间的连 决上述问题7[--slBP神经网络模型及其训练算法所存 接权值全部固定为 1 在的上述局限性 ．是其 自身所固有的．一般而言。较难 线性无关基函数隐层 找到有效的、彻底的解决办法阿。 基于上述认识 ．本文在深入探讨 BP神经网络结 构及其学习算法的基础上 ．构造了一类基 函数神经 网 络 ：①该类神经网络使用一组线性无关的基函数作为 各隐神经元的激励函数 (其结构如图1所示)；②给出 现 该类神经网络对任意连续函数的逼近性能及全局收 代 敛性质的分析和证明．从理论上确保其具有对连续非 计 线性关系的任意逼近能力并且无局部极小等问题 ； 算 机 ③推导出基于伪逆的权值直接确定法 ，网络参数可一 ^ 步计算出．改变了神经网络参数必须通过迭代求解得 总 出的传统观念：④给出仿真验证并与传统BP神经网 图1基函数神经网络模型结构 第 - 一 ★基金项 目：国家 自然科 学基金 (No60775050)、中山大学科研启动费、后备重点课题资助 0 收稿 日期 ：2008～12～12 修 稿 日期 ：2009—02-02 _ _ 期 作