零误差密度最大算法的分析研究.pdfVIP

第31卷第3期 江西理工大学学报 v01．31，N。．3 2010年 6月 JOURNALOFJIANGXIUNIVERSITYOFSCIENCEANDTECHNOLOGY Jun．2010 文章编号：1007—1229(2010)03—0041—03 零误差密度最大算法的分析研究 任金霞， 陈中威， 杨 赛 (江西理工大学机电工程学院，江西赣州341000) 摘 要：前馈神经网络的学习通常以均方误差为 目标函数M(SE)，易陷入局部极小，而零误差密度 最大算法(z—EDM)以误差在零点的概率密度函数为神经网络新的目标函数，能够达到全局最优． 将Z—EDM算法应用到BP网络中，并通过仿真将两者进行 了比较 ，实验结果表明，z—EDM算 法在分类方面要明显优于MSE算法．并且对这一算法进行了分析，可知以优化此 目标函数的神 经网络的学习仍是基于经验风险最小化原则，通过仿真将基于Z—EDM 算法的BP网络与支持 向量机(SVM)在两分类方面进行比较，结果表明此算法对于某些数据集具有与SVM 近似的性 能，但总体上性能仍不及基于结构风险最小化的SVM． 关键词：标准BP算法；零误差密度最大算法；支持向量机 中图分类号：TP391．9 文献标识码 ：A TheAnalysisofZero-errorDensityM aximizationAlgorithm REN Jin-xia，CHEN Zhong-wei，YANG Sai (FacultyofMechanicalandElectronicEngineering，JiangxiUniversityofScienceandTechnology，Ganzhou341000，China) Abstract：Feed—forwardneuralnetworks，whichusuallytakesMeanSquraeErrorcriteria (MSE)ascostfunction， iseasilytodropinlocalminimization．Zero-ErrorDensityMaximizationalgorithm’S (Z-EDM)usingerrordensity atoriginasthenew costfunctioncanreachglobaloptimization．Inthispaper，Z-EDM algorihtm isappliedintoBP neural networksandthesimulationresultsshowthatZ—EDM iScleralymorepowerfulinclassifyinghtanMSE．The analysisofZ-EDM algorihtm suggeststrainingneural networkswiht htisnew costfunction isstillbasedon empiricalriskminimizationprinciple．Suppo~VectorMachine (SVM)andBPbasedonZ-EDMraecompraedin classification．Simulationresuhsshow thatZ—EDM ownssimilra performanceasSVM incertaindatasets，butis generallyinferiortoSVM wiht structural riskminimizationprinciple． Keywords：BPalgorihtm；zero—errordensitymxaimization ；SVM BP神经网络模型己经被广泛的应用于模式识 本研究将该算法应用到前馈神经网络的学习中，并 别、信号处理、数据预测等各个方面，但是由于标准 与MSE算法进行比较．支持向量机算法 (SVM)是 BP算法以均方误差 (MSE)作为 目标函数，采用梯度 建立在统计学习理论的VC维理论和结构风险最小 下降优化方法无法辨别全局最小点，因而训练常陷 化原理基础上的，根据有限样本在模型的复杂性和 入某个局部极小点 1]【，而零误差密度最大算法 学习能力之间寻求最佳折衷，具有更好