黑盒威胁模型下深度学习对抗样本的生成.PDFVIP

第26卷 第24期 电子设计工程 2018年12月 Vol.26 No.24 ElectronicDesignEngineering Dec.2018 黑盒威胁模型下深度学习对抗样本的生成 孟东宇1，2，3 （1.上海微系统与信息技术研究所上海200050；2.上海科技大学信息学院，上海201210； 3.中国科学院大学北京 100029） 摘要：深度学习系统在许多任务中表现出色。但研究表明，如果在原有输入上叠加一个很小的恶 意噪声，其效果就会受到严重影响。这种恶意样本被称为对抗样本。针对此前对抗样本生成方法 在威胁模型下考虑的不足，本文提出了一种黑盒模型下的对抗样本生成方法。该方案通过黑盒优 化技术，对输入样本做多维高斯建模并逐步迭代优化进行对抗样本的求解。在标准测试数据集上 的测试表明，本文方法可以不需要了解模型具体参数和结构就能以100%的成功率生成对抗样本。 关键词：深度学习；对抗样本；黑盒优化；计算机安全 中图分类号：TN06 文献标识码：A 文章编号：1674-6236（2018）24-0164-04 Generatingdeeplearningadversarialexamplesinblack⁃boxscenario MENGDong⁃yu1，2，3 （1.ShanghaiInstituteofMicrosystemandInformationTechnology，Shanghai200050，China；2.Schoolof InformationScienceandTechnologyofShanghaiTechUniversity，Shanghai201210，China；3.University ofChineseAcademyofSciences ，Beijing 100029，China） Abstract: Deeplearninghasshownimpressiveresultsonmanycomplextasks.However，pastresearch hasshownthatstate-of-artdeeplearningsystemsarevulnerabletoadversarialexamples. Mostofthe previousworksonadversarialexamplesfocusonthewhite-boxthreatmodel.Inpractice，however，such knowledgeisnotalwaysavailable.Inthispaper，weproposeanovelattackthatleveragesblack-box optimizationtechniquesforadversarialexamplegeneration.WemodelinputswithmultivariateGaussian modelanditerativelyupdatethemwithexpectationmaximizationalgorithm.Experimentsshowthatour methodcansuccessfullygeneratehigh-qualityadversarialexampleswithoutknowingnetworkstructureor parameters. Keywords:deeplearning；adversarialexample；optimization；computersecurity 近年来，深度学习及相关技术高速发展，在众多 于在正常测试样本上表现十分出色的神经网络模 [1] [2-3] 领域取得了