Computational Intelligence 第九章1,2节翻译.docVIP

进化神经网络 9.1 简介 多层前馈神经网络已经成为非常流行，有以下几个原因：他们有在实践中已经发现一概而论良好，是众所周知的训练算法，例如作为Widrow -霍夫，反向传播， Hebbean ，赢家通吃， Kohonen自组织映射这往往可以找到一个很好的权值。尽管使用最少的训练集，学习 时间往往成倍增加，他们往往不能构造（ Muehlenbein ，1990）。当全局最小值是隐藏在局部极小点之间的反向传播（ BP ）算法可以结束了局部极小值之间的弹跳没有太多的全面提高，这会导致非常缓慢的训练。 BP是一个需要渐变的计算方法相对于权重，而这又需要微分误差。因此，BP不能处理不连续的最优性条件或不连续的节点传递函数。 BP的速度和鲁棒性是参数，如学习率，动量和加速度敏感恒定的，并且使用最佳参数似乎各不相同的问题，以问题（巴迪和Homik ，1995）。所谓动量的方法降低BP在灵敏度的小细节错误面。这有助于避免网络被陷在浅水极小这将防止网络找到一个较低的误差溶液（ Vogtet人，1988 ） 。 人工神经网络的自动设计有两个基本方面：参数学习和结构的学习。在结构学，无论是结构和参数信息必须通过训练过程中的教训。基本上，我们可以考虑三种模式结构学习：建设性的算法，破坏性的算法和进化计算。建设性的算法（浩方，1993;霍纳沃尔和UHR ， 1993; Parekhet人，2000年）开始用小的网络（通常是一个单一的神经元）。此网络进行训练，直到无法继续学习，那么新的组件被添加到网络中。这个过程被重复，直到一个满意的解决方案被发现。这些方法通常陷入局部极小（安吉莉娜等人，1994）并倾向于产生大的网络。破坏性的方法，也被称为修剪算法（里德， 1993），开始即能学习，但通常结束在一个大的网络过拟合，并尝试删除的连接和节点一点用处都没有。一个主要的问题与修剪方法是信用到网络中的结构部件分配为了决定一个连接或节点是否必须被移除。这两种方法，constructiveand破坏，限制了可用的架构，它引入的约束数目 这可能不适合于该问题可能结构的搜索空间。虽然这些 在模拟数据（Thodberg，1991的方法已被证明是有益的; Depenau和穆勒， 1994），其应用到实际问题却相当不成功（Hiroseet人，1991; Hassibi和鹳，1993;上村及中西，1994）。 一些研究人员已经开始研究稳健的方法来克服这些种的问题。其中的一个方法可能是中介公司的应用。进化神经网络系统主要是指设计和神经网络的训练由进化算法。在神经网络的组合和进化搜索过程的兴趣 在近年来发展迅速。有几个论点赞成中介申请到神经网络 优化（权重和/或拓扑），因为中介公司有能力生产的全局搜索的潜力参数空间，从而避免局部极小。此外，有利的是中介应用于 问题在那里梯度信息是困难或昂贵获得。这意味着中介可以 可能被应用到强化学习问题与疏反馈训练 NNS与非微神经元。与中介公司的唯一明显的缺点是速度慢时间尺度。 在中介公司是用于问题不仅算法，代表性和运营商，但同时该战略的参数值和操作的概率要选择哪些影响性能（意思是一个很好的一整套解决方案）和收敛（寓意好一套及时的解决方案，即有效地找到解决办法） 。查找的过程中合适的参数值和操作的概率是一个耗时的任务。研究人员已投入相当数量的努力和尝试了各种问题一个特定的域，并试图调整策略参数。很明显，一个EA在本质上是一个充满活力和适应过程。此外，也存在缺点传统的方法在某种意义上说，战略参数是静态的，不恰当的选择的参数可能会导致次优的性能。参数的调整将花费显著量的时间和最佳参数值也可能在进化过程中变化过程。对EA参数及其设置的详细讨论在第8.4节规定第8章，因此，自适应机制的策略参数是较为可取作为确定性参数设置变化从问题到问题。不同的模糊logicbased的方法来适应机制对EA的参数设置进行了讨论第8章第8.4.1节。的模糊逻辑为基础的方法的主要困难是建设微丝和规则为基础的学习，这主要是需要专业知识的。以类似的方式， NNS还可以应用于开发为中介的自适应机制。该优势NNS在模糊逻辑为基础的方法之一是，一个神经网络能够学习从经验数据。电针参数的自适应学习有报道和讨论许多研究人员在各种会议和期刊的分散方式。它需要在解决一个更结构化的方式。 为结合EA和NNS各种方案被提出，被许多测试 研究人员在过去的二十年（姚明和刘，1998;普通话U-拉巴斯和卡马斯，2005年荣 和的Reggia，2006），但文学是分散在各种期刊，诉讼 和技术报告。主要是，三种类型的组合，迄今已在报 文献： ?支持性的组合， ?协同组合 ?组合合并组建的。 在辅助组合，EA和NNS被用于