前馈式神经网络的容错性评估和计算方法的研究.docVIP

前馈式神经网络的容错性评估和计算方法的研究 第17卷第2期 2004年6月 模式识别与人工智能 PRamp;AI Vo1.17NO.2 June2004 前馈式神经网络的容错性评估和计算方法的研究* 姜惠兰孙雅明 (天津大学电气工程与自动化学院天津300072) 摘要本文研究了前馈式神经网络(NN)的容错性问题,提出了一种用全新的概念评估前馈式NN容错性能的 方法.将动力学系统的吸引子和吸引域的概念引入到前馈式NN网络,给出了前馈式NN模型的吸引子和吸引 域的定义,以及描述容错性的指标,并在此基础上推导出一种计算前馈式NN吸引域大小的数学方法.该研究使 前馈式NN容错性有了基于理论的评估和数学计算方法. 关键词神经网络,容错性,吸引域,信息处理 中图法分类号TP18 1引言 前馈式NN是一个强有力的学习系统,其并行 处理能力和高度的非线性映射能力,使其在诸多领 域得到了广泛的应用,特别是对于属于模式识别范 畴的实时信息处理系统,基于前馈式NN的研究更 为普遍.对前馈式NN的研究应从网络的模型结构, 学习算法,记忆容量,推广(或泛化)能力以及网络对 信息处理的容错性能等方面考虑,而目前的神经网 络研究却主要集中于对NN的模型结构,学习算法, 训练速度和收敛性方面,虽然获得了有效的成果,但 在将其应用于具体的工程实际时,设计并训练前馈 式NN的目的不仅仅是使其能识别已训练过的样 本,更重要的是网络对未在训练集中出现的样本作 出正确反映的能力,即网络的容错能力.当将NN应 用于在线的实时信息处理系统时,由于分析用的 NN实时输入信息来自于现场,信息受干扰畸变的 可能性是必然的.当出现实时输入信息的不完备时, NN并不能保证其收敛到训练记忆的样本上去,造 成处理结果的不确定性,即容错性能不能保证,这样 使得所研究的NN模型系统的实用价值是不能确定 的.所以不能忽视对所建具体NN模型本身容错性 能的深入分析,它是评价一个实时信息处理NN系 *国家自然科学基金资助项目(No 收稿日期:2002—07—29;修回日期:2003—11—21 统实用性能的重要方面,因此对NN容错性的研究 是必要的. 目前对NN泛化能力和容错性的研究并不算 多,主要从分析数据样本或模型结构对NN性能的 影响人手考虑.文献[1]用改变网络结构来改变前馈 式NN的性能,它用动态剪枝法通过一定的删减法 则简化NN结构;文献[2]和文献[3]从初始条件和 原始数据项中潜在的内在规律出发,分析对NN结 构和性能的影响;文献[4]和文献[5]基于数理统计 和回归分析法,对样本的质量和数量进行筛选,保留 样本的重要特征,并分析样本对NN性能的影响;文 献[6]利用遗传算法求取NN优化模型结构.然而对 所建NN容错性能的评估,从理论上还缺乏系统的 研究,没有明确的解析计算方法.从已有对神经网络 性能分析的研究看,文献[7]发表了一些很好的看 法,对NN容错性能由记忆成网络稳定吸引子的吸 引域大小来描述.这个方法适用于具有动力学行为 的反馈式NN,如HopfieldNN,但是前馈式NN却不 同,它是一个由输入到输出的映射网络,并不能描述 成由非线性微分方程表示的非线性动力学系统,注 重学习的研究而较少关心稳定性,其吸引子和吸引 域实际上是不存在的.为了用目前的描述标准来评 估前馈式NN的容错性能,本文将动力学系统的吸 引子和吸引域的概念引入到前馈式NN中来并加以 202模式识别与人工智能17卷 延伸,提出适合于分析前馈式NN容错性能的吸引 子和吸引域的概念,并在此基础上推导出一种计 算前馈式NN模型吸引域大小的数学方法,使前 馈式NN容错性的评估有了基于理论的构架,为提 高前馈式NN容错性的进一步研究开辟了新途径. 2前馈式NN模型结构及BP学 习算法 前馈式NN是由非线性元件组成的并行分布处 理系统,其模型结构如图l所示.网络分为输人层, 隐含层,输出层,隐含层可以是一层或多层,同一层 中的神经元之间没有相互的连接,网络每层与相邻 各层通过权值相连接,且层间的信息传送只沿一个 方向进行,所有的信号从输人层进人,通过隐含层, 最后在输出层得到响应. 输出 第三层 瀚出层) 第二层 ai急含层) 第一层 ai急含层) 输入层X1X2 输入 图1前馈式NN模型结构 前馈式NN的学习算法,本文采用的是有导师 学习的误差反向传播,简称BP算法.其学习的基本 步骤为 a)将神经元的权值和阈值置一个随机初始值. b)给定训练样本集的输人矢量. c)由输人,权值和阀值计算输出值为 WXT一0=∑一0, . (1)1 1+exp(一pI) 其中,是激活函数的斜率,通常取为1. 当样本集的输出计算值与期望值的偏差平方和 小于给定允许值时,训练结束,否则转步骤d). d)根据输出