一种前向神经网络容错分析的方法.pdfVIP

一种前向神经网络容错分析的方法★ 张涛，胡东成 清华大学自动化系，北京，100084 摘要：本文针对具有可微作用函数的大规模前向神经网络，提出一种容错分析的方法 文中首先建立了前向神经网络的随机故障模型然后根据各层神经元的不同故障特点， 给出相应的容错分析结论．最后通过分析这种大规模前向神经网络故障传播特点，结合 神经元容错分析的结论，得出了大规模前向神经网络容错分析的算法和相应公式 关键词：前向神经网络容错分析中心极限定理 一 引言 Neural 关于人工神经网络(Artificial 硬件实现在这些年来的巨大进展，各类神经芯片的不断涌现，以及其它硬件装置在各种 领域中的应用。越来越成为一个热点问题．众所周知，ANN硬件系统中不可避免地存在 着多种故障．如何克服这些故障，认清ANN的固有容错特性，采取什么措施有效地提高 ANN的容错性，都有待于人们去解决．因此，ANN容错性研究对各种硬件ANN的性能 评价和相应的容错设计均具有重要的理论价值和实际指导意义． 目前。关于神经网络故障性能的研究主要集中在灵敏度和鲁棒性分析．即当神经 网络在发生小的输入误差和权值扰动(即软故障)情况下的性能变化[1】【2】【3】+但事实上 硬件ANN不仅会出现软故障，同时还会出现致命的硬故障，例如连接故障和错误输入 故障，而且后者对ANN的性能影响更大．由于ANN属于性能可降级系统，对于软故障 ANN利用其自身的容错性可以在一定程度上予以克服，然而硬故障的影响，往往超出了 ANN所能容忍的程度．对硬件ANN造成巨大的危害．人们采取了许多容错设计用以克 服ANN中存在的硬故障【4】【5】．但是，现在仍缺乏对ANN容错性能的理论分析．本文正 Neural Feedforward 是针对这一问题，提出了一种针对大规模前向神经网络Cl埘ge-scale Network,简称LFNN)的容错分析方法． 二LFNN的随机故障模型 我们研究的具有可微作用函数的LFNN由L层节点组成，其中第一层为输入节点， 第L层为输出节点，中间的L一2层为隐节点．同层节点中没有任何耦合输入信号从输 入层节点，依次传过各隐层节点，然后传到输出节点．网络连接为全连接，即每个节点 都要同下一层的每个节点相连接．每一层节点的输出只影响下一层节点的输入其输出 为：■‘。=／(∑wu‘‘’一‘2 J=1，……，Ⅳ‘2’ ，=l 阈值另外，本文所讨论的可微作用函数，将以神经网络中经常采用的Sigmoid函数为 1一口一’ 例，它的表达式为：”=th(V)2{焉i由于所研究的人工神经网络是大规模前向神经网 ，N‘f)) 络，因此Ⅳ‘。’1为简化讨论，以下假定eJ‘7’=0(，=l，2，，L；j=1…2 ·本文得到国家自然科学基金、国家教委高等学校博士点学科基金资助 本文考虑神经网络硬件实现中经常出现的两类硬故障模型．～类是连接故障，另 a-(-M)故障对网络性能的影响相同，所以分析中只考虑前者对于错误输入故障，为了 充分体现错误输入对神经网络的影响，我们定义错误输入值为正确输入的相反值． 为了研究LFNN对硬故障容错的统计特性，我们将此神经网络定义成随机故障模 型(而不是己训练好的网络模型)，即定义神经网络的第，层(仁2，．．，L)输入值 经网络的输入权值W。(f：1，…，Jv(‘’)都是均值为0，方差为G：的独立同分布随机变量，输 入值和输入权值相互独立．同～层的节点假定性能完全相同． 三 各层神经元的故障性能分析 根据LFNN随机故障模型，各层神经元的故障性能有三种可能的类型：(1)仅发生连 接故障；(2)仅发生错误输入故障；(3)同时发生连接故障和错误输