一种基于动态行为映射模型的shellcode检测方法.pdfVIP

第 16卷第 1期 信 息 工 程 大 学 学 报 Vol_I6NO．1 2015年 2月 JournalofInformationEngineeringUniversity Feb．2015 DOI：10．3969／j．issn．1671—0673．2015．01．020 一 种基于动态行为映射模型的shellcode检测方法 花 超 ，唐 黎 ，康 绯 (1．数学工程与先进计算 国家重点实验室 ，河南 郑州 450001；2．江南计算技术研 究所 ，江苏 无锡 214083) 摘要：提 出了一种基于动态模拟执行的shellcode分析与检测方法。该方法针对 当前 自修 改和 分段执行类shellcode的特点，建立动态行为映射模型严格刻画 了shellcode模拟动态行为过程 特征，给出了关于 自修改和分段执行类 shellcode的行为轨迹序列，然后设计 了基于有限状态 自动机 的快速检测算法并实现 了原型系统。实验结果表 明，该方法能够有效检测 当前 自修改 与分段执行类 shellcode，并且与现有主流 shellcode检测工具相比，可 以达到较好的检测效果。 关键词 ：shellcode；自修改；分段执行 ；动态行为映射 ；行为轨迹序列；自动机 中图分类号：TP309 文献标识码：A 文章编号：1671—0673(2015)01-0117-06 ShellcodeDetectingM ethodBased onDynamicBehaviorM appingM odels HUA Chao ，TANG Li，KANG Fei (1．StateKeyLaboratoryofMathematicalEngineeringandAdvancedComputing，Zhengzhou450001，China； 2．JiangnanInsituteofComputingTechnology，Wuxi214083，China) Abstract：Thispaperproposesashellcodeanalysisanddetetionmethodbasedontheexecutionof dynamicsimulation．Inview ofthecharacteristicsofthecurrentself-modificationandsegmentedex— ecutionshelleodes，themethodestablishesadynamicbehaviormappingmodeltostrictlydescribethe characteristicsofthe shellcodesimulationdynamic behaviorprocess．Italsopresentsthebehavior trajectorysequenceoftheself-modificationandsegmentedexecutionshellcodes，andfinallydesigns afastdetectionalgorithm basedonfinitestateautomata，andimplementstheprototypesystem．The experimentalresultsshow thatthe method can effectinely detectthe currentself-modification and segmentedexecutionshellcode，andcanachievebetterdetectionresults，comparedwiththeexisting mainstream shellcodetestingtools． Keywords：shellcode；self-modifying；egg—hunting；dynamicbehaviormapping；automata 缓冲区溢 出是指当程序向缓冲区写入 的