基于量子免疫克隆算法神经网络优化方法.docVIP

基于量子免疫克隆算法神经网络优化方法 　　摘 要： 为降低神经网络的冗余连接及不必要的计算代价，将量子免疫克隆算法应用于神经网络的优化过程，通过产生具有稀疏度的权值来优化神经网络结构。算法能够有效删除神经网络中的冗余连接和隐层节点，并同时提高神经网络的学习效率、函数逼近精度和泛化能力。该算法已应用于秦始皇帝陵博物院野外文物安防系统。经实际检验，算法提高了目标分类概率，降低了误报率。 关键词：神经网络；量子免疫克隆算法；目标分类；冗余连接；网络优化 中图分类号： TP273 文献标志码：A Quantum-inspired clonal algorithm based method for optimizing neural networks Abstract： In order to reduce the redundant connections and unnecessary computing cost， quantum-inspired clonal algorithm was applied to optimize neural networks. By generating neural network weights which have certain sparse ratio， the algorithm not only effectively removed redundant neural network connections and hidden layer nodes， but also improved the learning efficiency of neural network， the approximation of function accuracy and generalization ability. This method had been applied to wild relics security system of Emperor Qinshihuangs mausoleum site museum， and the results show that the method can raise the probability of target classification and reduce the false alarm rate. Key words： neural network； quantum-inspired clonal algorithm； target classification； redundant connection； network optimization 0 引言 神经网络已经被广泛地应用于模式分类、函数逼近、信号预测等各种领域，是近年来的研究热点之一[1-2]。在应用过程中，研究人员发现，当神经网络的规模过大会产生连接数量冗余大、计算代价过高的问题，降低了大规模神经网络的实用性。针对此问题，研究人员提出了多种方法在保持神经网络的前提下优化神经网络的结构和参数权值。Leung等[3-4]改进了传统的遗传算法（Genetic Algorithm， GA）并将其应用于神经网络的结构和权值优化过程，利用遗传算法的快速收敛性来提高神经网络的学习速度，其缺点在于当目标函数维数过大时容易陷入局部最优。Xiao等[5]使用混合优点（Hybrid Good Point， HGP）优化前向神经网络的参数和结构，避免权值陷入局部最优，但其对网络结构的优化没有达到最优。Shu等[6]提出正交模拟褪火（Orthogonal Simulated Annealing， OSA）算法， 使用褪火算法和正交算法的优点来同时优化神经网络结构和参数，其算法收敛速度快、鲁棒性好，缺点则在于计算代价较大。杜文莉等[7]提出了使用量子差分进化（Cooperative Quantum Differential Evolution， CQGADE）算法来优化神经网络权值，使用量子遗传算法优化网络结构和隐层节点数，算法综合了量子遗传算法和量子差分算法的优点，收敛速度快，但其缺点在于需要同时协同两种算法的优化结果，算法复杂度较高，且容易陷入局部最优。Tsai等[8]提出混合田口遗传算法（Hybrid Taguchi Genetic Algorithm， HTGA），将传统的GA与Taguchi方法结合起来，使得算法具有鲁棒性好、收敛性快等优点，但其缺点在于获得最优解的计算代价较大。 量子免疫克隆算法[9-12]（Quantum-inspired Immune Clonal Algorithm， QICA）也称为