遗传算法进化神经网络权值的新技术TheNew-peoplecsail.mit.edu.PDF

遗传算法进化神经网络权值的新技术 张颖鹏 华南理工大学 广州 510640 e-mail：tczyp@ 摘要：本文将介绍一种在不提高运算代价的前提下，大大提高遗传算法进化人工神经网 络权值的效率和速度的原创技术：“伪隐藏层”技术。并详细讨论该技术的本质和实现过程。 该技术将有效地帮助遗传算法跳出局部最优解，并增加收敛到全局最优解或者高效的次优解 的可能性。 关键词：遗传算法 人工神经网络 伪隐藏层 The New Technology of evolving Artificial Neural Networks Weights by Genetic Algorithms ZHANG Ying-Peng South China University Of Technology GuangZhou 510640 e-mail：tczyp@ Abstract: In this text A kind of authorship technology is presented, which could improve the efficiency and velocity of evolving Artificial Neural Networks weights by Genetic Algorithm(GA) without augment the operation cost. It is “false hidden layer” technology. The essence and implementing process of this technique are discussed in detail. It could help GA to esc ape from local optimization value and make the probability of arriving at global optimization or local second-optimization value increased. Key Words: Genetic Algorithm, Artificial Neural Network, false hidden layer. 1 引言 人工神经网络（ANN）是对人类大脑的一种模拟，它将人脑的一些基本特征和功能抽象 出来用于解决各种现实问题。自 80 年代以来，ANN 无论是在理论模型、学习算法还是实际 应用等方面都取得了很大的进展。K.M.Hornik 等人已证明，只要用一个具有单隐层的前馈 网络就可以实现对任意复杂函数的任意逼近，然而如何对网络进行合理配置却是一个NP问题 [1]；另一方面，传统的 BP 训练方法，具有收敛缓慢且容易陷入局部最优解等缺点，这些都 极大地限制了 ANN 的应用与发展。 遗传算法 （GA）是一种模拟自然选择和进化的随机搜索算法。GA 适用于大规模的并行 计算并能在复杂、多峰值、不可微的空间中以较大的概率找到全局最优解，因此能有效地克 服传统 ANN 训练方法的缺点。近年来，越来越多的研究人员正从事 GA 与 ANN 相结合的研 [2] 究工作 。而本文将提及的“伪隐藏层”技术将进一步提高GA 在复杂，多峰值的多维曲面 空间中搜索全局最优解的能力，使GA 成为一种更加高效的神经网络训练方法，GA 的地位将 大大提高。 2. “伪隐藏层”技术 2.1 被忽视的线性激活函数 传统神经网络的层与层之间的激活函数一般采用非线性激活函数，这个结论来自于下面 这个定理：使用线性激活函数的多级网的功能不会超过单级网。下面给出该定理的证明。（更 详细的证明过程请查阅参考文献[3]） 设有一 n 层网络，X 是其输入向量， 1 2 3 n 是各级连接矩阵。 W W W W NET NET NET