基于敏感性分析裁剪Madaline网络结构.pdfVIP

基于敏感性分析裁剪Madaline 网络结构 邵静 河海大学计算机及信息工程学院，南京 (210098) E-mail：Joykelly811005@ 摘 要：在神经网络研究中，网络结构如何设计是一个至关重要的问题。为了找到一个适合 的网络结构，目前常用的方法是把已训练好的大结构网络裁剪成小结构网络，同时又要保留 它必需具备的某些属性。本文给出了基于敏感性的裁剪方法，即从 Madaline 网络上裁剪其 隐层神经元节点，造成尽可能少的性能损失并可以比较简便地补偿裁剪造成的损失。这种方 法的新颖在于它建立了一个重要性度量，通过对一个 Adaline 的敏感性度量，找到一个 Madaline 中重要性最小的Adaline 。我们的实验结果很好的证明了这个方法的有效性。 关键词：Adaline ，Madaline ，裁剪，敏感性度量，重要性度量 中图分类号：TP183 1. 引言 自从1943年McCulloch和Pitts首先提出神经元的数学模型以来，人工神经网络的发展几 经兴衰。虽然该研究领域在理论和应用上都已有很大的进展，但是离彻底解释人脑的工作原 理还相差甚远，实用的也仅仅是人脑功能的极少部分。许多有关人工神经网络的结构和行为 的基本问题都还有待进一步深入探索。本文主要研究的是基于敏感性的Madaline 网络结构的 裁剪。 2. 问题描述与研究现状 在一个待解决的问题中，用什么样的神经网络结构是一个合适的结构？很可惜，这个问 题的答案不容易给出，因为结构大的网络和结构小的网络都各有利弊。一方面，结构较大的 网络训练速度可能更快，对训练数据分类精确；但是在硬件上可能运行时间长、计算量大， 而且对于给定的训练数据以外的数据，泛化性能较差。而另一方面，结构较小的网络在运行 时间和计算量上可能花费的是较少，而且泛化能力强；但是它对训练数据可能训练速度慢甚 至根本不能训练起来。研究者们结合大小网络的优缺点，已给出了一些方法来寻找合适的网 络结构。它们大致分成两类，一类是构造法，另一类是裁剪法。以上这两种方法，相对而言， 裁剪法在文献中较为常见，而且它还结合了训练大网络和运行小网络的优点，使之显得更为 合理。本论文仅考虑对Madaline 网络结构的裁剪。 Madaline 是一种离散的前向多层神经网络，采用有监督的学习机制，适合于解决许多 固有性质为离散型的问题，诸如信号处理和模式识别问题。此外，它的离散特性可以使硬件 执行更容易，构造上消耗少，减少计算复杂度，便于计算方面的理解和解释。事实上，一个 Madaline 网络可以被理解为连续性前向多层神经网络的一个特殊例子。众所周知，连续型前 向多层神经网络在技术上是最成熟的，例如著名的后向传播学习算法。但由于Madaline 的 硬极限激活函数是不可微分的，故绝大多数的方法不能直接应用于 Madaline 网络。因此， 即使在多层感知机的裁剪上有了一些解决方法，仍需要探究一些新的方法来满足 Madaline 的特性。本文主要讨论怎样裁剪只有一个隐层的Madaline 网络的隐层神经元。 关于前向神经网络的裁剪方法，Reed [1] and Engelbrecht [2] 给出了详尽的综述。虽然出 现了许多不同的裁剪方法，但他们中绝大多数的基本主要思想是几乎一致的。他们都试图建 立一个合理的重要性度量，并希望基于这种重要性度量的裁剪，可以对整个网络的性能影响 -1- 达到最小。在所有裁剪法中，基于敏感性的裁剪方法最为常见，它通常估算出目标函数的敏 [3，4] [5，6] 感性，如训练误差 的敏感性，测试误差 的敏感性，或者由于