基于自动编码器组合的深度学习优化方法.pdfVIP

JournalofComputerApplications ISSN l0o1—908l 20l6—03．10 计算机应用，2016，36(3)：697—702 CODENJYIIDU http：／／www．joca．en 文章编号：1001—9081(2016)03．697．06 DOI：10．11772／j．issn．1001·9081．2016．03．697 基于 自动编码器组合的深度学习优化方法 邓俊锋 ，张晓龙 ， (1．武汉科技大学 计算机科学与技术学院，武汉430065； 2．智能信息处理与实时工业系统湖北省重点实验室，武汉 430065) (}通信作者电子邮箱xiaolong．zhang@wust．edu．cn) 摘 要：为了提高自动编码器算法的学习精度，更进一步降低分类任务的分类错误率，提出一种组合稀疏 自动编 码器(SAE)和边缘降噪 自动编码器(mDAE)从而形成稀疏边缘降噪 自动编码器(SmDAE)的方法，将稀疏 自动编码器 和边缘降噪 自动编码器的限制条件加载到一个 自动编码器(AE)之上，使得这个 自动编码器同时具有稀疏 自动编码器 的稀疏性约束条件和边缘降噪 自动编码器的边缘降噪约束条件，提高自动编码器算法的学习能力。实验表明，稀疏 边缘降噪 自动编码器在多个分类任务上的学习精度都高于稀疏 自动编码器和边缘降噪 自动编码器的分类效果；与卷 积神经网络(CNN)的对比实验也表明融入了边缘降噪限制条件，而且更加鲁棒的SmDAE模型的分类精度比CNN还 要好 。 关键词：深度学习；自动编码器；稀疏 自动编码器；降噪 自动编码器；卷积神经网络 中图分类号：哪 92 文献标志码：A Deeplearningalgorithm optimizationbasedoncombinationofauto-encoders DENG Junfeng一．ZHANGXiaolong， (1．SchoolofCompu~rScienceandTechnology,WuhanUniversityofSceinceandTechnology,WuhanHubei430065，China； 2．HubeiProvinceKeyLaboratoryofIntelligentInformationProcessingandReal—timeIndustrialSystem，WuhanHubei430065，China) Abstract：InordertoimprovethelearningaccuracyofAuto—Encoder(AE)algorithmandfudherreducetheclassification errorrate，SparsemarginalizedDenoisingAuto—Encoder(SmDAE)wasproposedcombinedwithSparseAuto—Encoder(SAE) andmarginalizedDenoisingAuto．EncoderfmDAE)．SmDAEisanauto—encoderwhichwasaddedtheconstraintconditionsof SAEandmDAE andhasthecharacteristicsofSAE andmDAE，SOastoenhancetheabilityof deeplearning．Experimental resultsshow thatSmDAE outperformsbothSAE andmDAE inthegiven classificationtasks；comparativeexperimentswith ConvolutionalNeuralNetwork(CNN)showthatSmDAEwithmarginalizeddenoisingandamorerobustmodeloutperforms convolutionaln