基于神经网络的混合优化算法研究.pdfVIP

第 31卷第 5期 微 计 算 机 应 用 MICROCOMPUTER APPLICATIONS V01．31No．5 2010年 5月 Mav．2010 基于神经 网络的混合优化算法研究 王 平 江华丽 翁宗煌 (福建师范大学 物理与光电信息科技学院 福建 350007) 摘要：为了在资源有限的嵌入式系统中提高智能特性，需要研究开发具有较好逼近和泛化能力的、以及代码简单的神经网络。 本文采用具有很强全局寻优能力的遗传算法以及局部寻优能力较强的梯度下降法，结合两者的优点形成了一种神经 网络混 合优化算法。对遗传算法操作算子做了改进，能同时优化神经网络的结构和权值及阈值。仿真实验结果表明，该混合优化算 法能够有效地对神经网络的结构和权值及阈值优化，优化后的神经网络有较好的逼近能力和泛化能力。 关键词：遗传算法 梯度下降法 神经网络 ResearchoftheImprovedHybridOptimizationalAlgorithm ontheNeuralNetwork WANGPing，JIANG Huali，WENGZonghuang (SchoolofPhysicsandOpticalElectronicInformationTechnology，FuJianNomralUniversity，FuJian，350007，China) Abstract：InordertoraiseintelligentfeaturesintIleembeddedsystemswithlimitedresources．weneedtoresearchanddeveloPwitha goodapproximationandgeneralizationcapabilities，aswellascodeforasimpleneuralnetwork．Inthisarticle，weuseastrongability ofoveralloptimizationofgeneticalgorithm ，local optimizationabilityands~onggradientdescentmethod，combinedwiththeadvnatages ofboththeformationsofahybridoptimizationalgorithmforneuralnetworks．Thegenetic~gorithmoperatorshavemadeimprovements， itcouldoptimizetheneuralnetworkstructurenadweightvaluesnadthresholdsatthesametime．Simulationresultsshowthatthehybrid optimizationalgorithm caneffectivelyimproveneural networksturcture，weightandthresholdoptimization．Th eoptimizedneural net- workhasgoodapproximationcapabilityandabilityofgeneralization． Keywords：geneticalgorithm ，rgadientdescentmethod，neuralnewtork 1 引言 神经网络因具有适应能力，学习能力和映射能力…而应用广泛，但 目前还没有一套完善的理论可以包 罗各种应用。本设计针对嵌入式系统软硬件资源有限的特点，先在 PC机上构建模型，经过改进和调试 ，最 终将网络结构相对简单的、具有较好的逼近能力和泛化能力的代码移植到嵌入式系统 。 对于神经网络权值的优化，以往大多是采用局部寻优能力较强的梯度下降法，但是容易陷入局部极小 值，导致其全局寻优性能不高。而基于优胜劣汰、适者生存和基因遗传思想的遗传算法虽具有较好的全局 寻优能力，但局部寻优能力不足 。本文对遗传算法操作算子做