一种基于概率模型Madaline网络敏感性研究.pdfVIP

一种基于概率模型的Madaline 网络敏感性研究 王炳辉 河海大学计算机及信息工程学院，南京（210098 ） E-mail ：biggio@ 摘 要：本文介绍了Mdaline 网络敏感性的研究成果，主要是对于输入扰动的敏感性计算算 法。研究采用自底向上的方法，先通过建立一个一般化的输入扰动概率模型来研究 Adaline 敏感性计算，该模型很好地解决了 Madaline 网络层与层之间敏感性传递的问题，然后在此 基础上，逐层计算Adaline 的敏感性，最后输出层的Adaline 的敏感性就是整个Madaline 网 络的敏感性。 关键词：Madaline 网络，敏感性，Adaline ，概率模型。 中图分类号：TP389.1 1．引言 长期以来，人们渴望了解大脑智能的机理，寻求用人工智能实现人脑智能，从而让机器 能代替人脑的部分劳动。人工神经网络研究是着眼于从结构上来探索和模仿人脑的机理以解 决那些用传统人工智能方法难以解决的含有不确定及多变性的问题，例如模式识别，机器学 习，和联想记忆等。该研究领域的重要性是不言而喻的。对人工神经网络的研究可追溯到 20 世纪40 年代，发展过程几经兴衰。虽然该研究领域在理论和应用上都已有很大的进展， 但是离能彻底解释人脑的工作原理还相差甚远，实用的也仅仅是人脑功能的极少部分。许多 有关人工神经网络的结构和行为的基本问题都还有待进一步深入探索。人工神经网络发展至 今，已有很多种类的网络结构。有前馈型网络，反馈型网络，离散型网络，连续型网络，等 等。Madaline 是一种离散型的多层前馈网络，其输入输出都是二值的，适用于处理离散性质 的问题，如分类和聚类等。本论文的研究工作主要针对Madaline 网络来进行。 研究表明，神经网络对于参数扰动的敏感性是衡量网络性能的一个重要尺度，如衡量容 错和泛化性能等。国内外已经有不少关于神经网络敏感性研究的报道，研究人员从不同角度、 针对不同神经网络模型、采用不同方法来进行敏感性研究[1-9]，并应用敏感性研究的结果来 解决神经网络研究领域里的一些热点问题，如网络容错和泛化性能的提高[10-11]、网络结构和 [12-14] [15] [1] 属性的筛选 以及学习算法的改进 等。首先是Stevenson、Winter 和Widrow 通过建立 一个超球模型来研究单个Adaline 的敏感性，进而研究Madaline 网络敏感性。他们定义敏感 性为输出出错的概率，但是前提条件是输入和权值扰动必须非常小并且输入维数足够大。之 后，Piche[3]使用随机模型来解决敏感性问题，但是他要求输入、权及它们的扰动都满足独立 同分布且均值为0 。这个前提条件要求太苛刻，使得它的结果只适用对整个一类网络进行敏 感性分析。此外，Oh 和Lee[7]也对Madaline 网络的敏感性进行了研究，但是他们的结果只 适用于单隐层的Madaline 。 与以上提到的方法不同，本文使用了一些新的方法来研究 Madaline 的敏感性。通过建 立一个一般化的输入扰动概率模型来解决Adaline 敏感性问题，我们通过这个模型很好地解 决了 Madaline 网络层与层之间敏感性传递的问题，而且我们的敏感性都是通过计算公式直 接得出，所以能用相对较低的复杂度，得到比较精确的计算结果。 论文主要安排如下：首先，简单介绍了论文的研究背景和主要工作；其次介绍了Madaline 模型以及文中使用的符号约定；然后分别介绍了Adaline 敏感性的定义和用概率模型计算敏 感性的算法；紧接着介绍了 Madaline 敏感性的定义和用概率模型计算敏感性的算法；最后 - 1 - 对本文进行了总结，并对今后的工作进行了展望。