虚拟化混淆程序的指令提取方法.pdfVIP

第26卷第1期信息工程大学学报Vol.26No.1

2025年2月JournalofInformationEngineeringUniversityFeb.2025

DOI：10.3969/j.issn.1671-0673.2025.01.013

虚拟化混淆程序的指令提取方法

张沈芊芊，董卫宇，林键

（信息工程大学，河南郑州450001）

摘要：针对现有虚拟指令识别不准确、静态分析无法解析分支跳转、无法跨大版本应用的问题，

提出一种基于符号执行的虚拟指令提取方法。该方法通过动态二进制插桩生成指令跟踪，对指

令跟踪进行离线分析，根据虚拟机结构及跳转规则划分出Handler集合，采用符号执行技术对

Handler进行语义分析，得到状态表达，最终利用启发式规则提取出虚拟指令。实验部分在5个

测试程序和两种VMProtect版本上对该方法进行验证，相较于VMP分析插件和NoVmpy，虚拟指

令识别率提升了26.72个百分点，准确率提升了41.09个百分点，并优化了分支跳转处理。实验

结果表明，该方法有效提升了虚拟指令提取的准确性、完整性和稳健性。

关键词：代码虚拟化；反混淆；虚拟指令；软件安全；逆向分析

中图分类号：TP309.7文献标识码：A文章编号：1671-0673（2025）01-0083-07

AnInstructionExtractionMethodforVirtualizationObfuscatedProgram

ZHANGShenqianqian,DONGWeiyu,LINJian

（InformationEngineeringUniversity,Zhengzhou450001,China）

Abstract:Inresponsetoexistingchallenges,includinginaccuratevirtualinstructionrecognition,limi⁃

tationsinstaticanalysisforbranchjumpresolution,anddifficultiesincross-versionapplications,a

symbolicexecution-basedvirtualinstructionextractionmethodisproposed.Instructiontracesaregen⁃

eratedthroughdynamicbinaryinstrumentationbyusingthisapproach,followedbyofflineanalysisof

thesetraces.Thehandlersetsarecategorizedaccordingtothevirtualmachinestructureandjump

rules.Semanticanalysisofthehandlersisconductedusingsymbolicexecutiontoderivestateexpres⁃

sions.Ultimatelyvirtualinstructionsareextrctedthroughheuristicrules.Theproposedmethodisvali⁃