神经网络敏感性的比较分析及一种新的基于敏感性的样例选择算法.pdfVIP

第1章绪论 第1章绪论 1．1课题的来源和意义 人工神经网络自从提出以后，得到了快速的发展。人工神经网络是以计算机网络系 统模拟生物神经网络的智能计算系统，它由一些非常简单的神经元按某种方式连接而 成，虽然每个神经元的处理能力很弱，但是整个网络的处理能力非常强大，成为信号分 析与处理的重要的工具。 敏感性分析是神经网络研究中的重要的课题之一。神经网络的敏感性大小标示着神 经网络由于某些参数或输入的扰动而导致网络输出或目标函数改变的大小程度。它的思 想一般是给网络参数或输入一个很小的扰动，然后观察网络输出的变化，这样就可以确 定网络输出受参数或输入变化的影响程度，从丽指导我们调整参数、优化网络等。 过去的几十年中，研究者们已经提出了很多种不同的敏感性定义。并用敏感性分析 的方法解决一些实际的问题，比如它可以预测扰动对网络输出的影响、量化网络的容错 性和泛化能力、优化网络结构、指导训练等。这些敏感性定义的适用范围不同，一般情 况下一个敏感性定义并不是适用于各种的神经网络，而只适用于某种或某类特殊的神经 网络。因此我们有必要对这些定义进行分类总结、分析比较，讨论它们在本质上的联系 和区别，从而指导我们更好的利用敏感性去解决实际问题。 泛化能力，也就是网络在不参与训练的样例集上的精度，是评价网络性能最重要的 指标之一。一般的学习算法的目标是最小化训练误差，但是学习的最终目的是去处理一 些未见的样例，那么更重要的学习目标是最小化泛化误差。如果神经网络有太多的自由 参数，而且要求训练精度过高，就可能导致在训练集上的过拟合，也就是网络机械的记 忆了训练样例的信息，对未见样例的处理能力很差，因而会产生很大的泛化误差，网络 也就不会有一个好的泛化能力。 主动学习一直是神经网络研究中的一个热点。主动学习在学习过程中可以根据学习 进程选择具有最大信息量的样例来进～步参加训练，这样的样例对训练网络会有一个较 大的贡献，最终用一个小的训练集就可以得到同样或更好性能的网络，从而减少代价。 而主动学习中最重要的就是要有一个好的样例选择标准，好的标准可以在不降低网络性 能的前提下，选择出尽可能少的具有代表的样例参与训练。 l 河北大学理学硕+学位论文 在wing的局部泛化误差模型[1】中，推导出局部泛化误差的一个上界，这个界中包 含敏感性一项，这就从理论上说明了网络的泛化能力和网络敏感性有一定的关系，那么 在训练神经网络时，如果我们用网络敏感性作为选择训练样例的标准，选择出具有最大 敏感性的样例加入训练集进行训练，从而提高网络的泛化能力，或者是用更少的训练样 例得到具有同样泛化能力的网络。 1．2国内外研究现状及分析 敏感性分析在神经网络的研究中一直是一个热点的问题。敏感性大小标示着网络由 于某些参数或输入的扰动改变而导致网络输出或一个目标函数改变的大小程度。最早是 感性的研究日益活跃，研究者们针对不同的网络不同的情况提出了不同的敏感性分析方 法和定义，并将之应用到样例选择、属性删除等各种不同的领域。这些方法定义有各自 的适用范围，我们有必要对这些定义进行比较分析，进一步探讨它们之间的联系和区别、 在一定条件下这些定义是不是具有等价性等。 【3】。2003年，他们将提出的随机敏感性应用于RBF网络输入样例的选择中【4】。在文中 分析了用此敏感性作为样例选择标准的有利之处，提出样例选择的学习算法，算法的主 要思想是每一次训练好网络后，给输入样例一定比例的扰动，可以计算出这个样例的敏 感性，这样对候选集中的每一个样例都可求出它的敏感性，然后把敏感性最大的样例加 入到训练集中重新训练网络，一直循环下去，直到候选集中没有样例为止。作者认为敏 感性最大的样例对下一次训练网络是最有利的，所以在每次循环中，针对当前训练好的 网络，选择敏感性最大的样例参与下一个循环的训练。 2005年Wing提出了局部泛化误差模型【1】。作者认为，如果一个样例与参与训练的 样例距离很远，那么这个样例所具有信息和每个训练样例就会有很大的不同，那么训练 好的网络也不会包含它的信息，去处理这样的样例就不会有很好的结果，也没有什么价 值。鉴于这种思想，作者忽略那些与已知样例很远的样例，而只是考虑网络在训练样例 附近区域上的泛化误差，从而提出了局部泛化误差模型。利用hoe