堆栈型虚拟机代码入口点定位方法研究-计算机应用研究.PDF

第３２卷第１２期 计 算 机 应 用 研 究 Ｖｏｌ３２Ｎｏ１２ ２０１５年１２月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｄｅｃ．２０１５ 堆栈型虚拟机代码入口点定位方法研究 １ １ １ １ ２ 蔡瑞杰 ，刘胜利 ，林　伟 ，刘　龙 ，王东霞 （１．数学工程与先进计算国家重点实验室，郑州４５０００１；２．信息系统安全技术重点实验室，北京 １００１０１） 摘　要：在采用虚拟化技术保护的程序中定位ｘ８６代码和虚拟机代码的临界点是实现被虚拟机保护代码自动 化提取和还原的前提，目前尚不存在能有效实现虚拟机代码入口点定位的方法。针对该问题，构建一个程序状 态转移模型，并在此模型的基础上，提出基于栈监控的自建栈型虚拟机代码入口点定位方法和基于寄存器值聚 类分析的复用栈型虚拟机代码入口点定位方法，有效解决了虚拟机代码入口点的定位问题。实验结果表明，该 方法能有效实现堆栈型虚拟机代码入口点的准确定位。 关键词：虚拟机保护；栈切换；寄存器值聚类；虚拟机入口点；状态转移 中图分类号：ＴＰ３１１５２　　　文献标志码：Ａ　　　　　文章编号：１００１３６９５（２０１５）１２３６８８０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１５．１２．０３８ Ｒｅｓｅａｒｃｈｏｎｌｏｃａｔｉｎｇｅｎｔｒｙｐｏｉｎｔｏｆｓｔａｃｋｂａｓｅｄｖｉｒｔｕａｌｍａｃｈｉｎｅ １ １ １ １ ２ ＣａｉＲｕｉｊｉｅ，ＬｉｕＳｈｅｎｇｌｉ，ＬｉｎＷｅｉ，ＬｉｕＬｏｎｇ，ＷａｎｇＤｏｎｇｘｉａ （１．ＳｔａｔｅＫｅｙＬａｂｏｒａｔｏｒｙｏｆＭａｔｈｅｍａｔｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ＆ＡｄｖａｎｃｅｄＣｏｍｐｕｔｉｎｇ，Ｚｈｅｎｇｚｈｏｕ４５０００１，Ｃｈｉｎａ；２．ＮａｔｉｏｎａｌＫｅｙＬａｂｏｒａｔｏｒｙｏｆ Ｓｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙｏｎＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍＳｅｃｕｒｉｔｙ，Ｂｅｉｊｉｎｇ１００１０１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｌｏｃａｔｉｎｇｔｈｅｅｎｔｒｙｐｏｉｎｔｏｆｓｔａｃｋｂａｓｅｄｖｉｒｔｕａｌｍａｃｈｉｎｅｉｎｔｈｅｐｒｏｇｒａｍｐｒｏｔｅｃｔｅｄｂｙｖｉｒｔｕａｌｉｚａｔｉｏｎｔｅｃｈｎｏｌｏｇｙｉｓｔｈｅ ｋｅｙｔｏｒｅｓｔｏｒｅｔｈｅｖｉｒｔｕａｌｍａｃｈｉｎｅｐｒｏｔｅｃｔｉｏｎｃｏｄｅ．Ｃｕｒｒｅｎｔｌｙ，ｔｈｅｒｅｗａｓｎｏｅｘｉｓｔｉｎｇｍｅｔｈｏｄｓｃｏｕｌｄｒｅｌｉａｂｌｙｌｏｃａｔｅｔｈｅｅｎｔｒｙ ｐｏｉｎｔｏｆｃｏｄｅｐｒｏｔｅｃｔｅｄｂｙｖｉｒｔｕａｌｍａｃｈｉｎｅ．Ｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ｔｈｉｓｐａｐｅｒｅｓｔａｂｌｉｓｈｅｄａｐｒｏｇｒａｍｓｔａｔｅｍｏｄｅｌ．Ｂａｓｅｄｏｎｔｈｅ ｍｏｄｅｌ，ｔｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｅｄｔｈｅｍｅｔｈｏｄｏｆｓｔａｃｋｂａｓｅｄｍｏｎｉｔｏｒｉｎｇｔｏｌｏｃａｔｅｔｈｅｅｎｔｒｙｐｏｉｎｔｏｆｃｏｄｅｐｒｏｔｅｃｔｅｄｂｙｔｈｅｓｅｌｆｂｕｉｌ ｄｉｎｇｓｔａｃｋＶＭ，ａｎｄａｌｓｏｐｒｅｓｅｎｔｅｄｔｈｅｍｅｔｈｏｄｏｆｃｌｕｓｔｅｒｉｎｇｒｅｇｉｓｔｅｒｖａｌｕｅｓｔｏｌｏｃａｔｅｔｈｅｅｎｔｒｙｐｏｉｎｔｏｆｃｏｄｅｐｒｏｔｅｃｔｅｄｂｙｔｈｅｒｅ ｕｓｉｎｇｓｔａｃｋｖｉｒｔｕａｌｍａｃｈｉｎｅ．Ｂｙｔｈｉｓｗａｙ，ｔｈｅｐｒｏｂｌｅｍｗａｓｓｏｌｖｅｄｅｆｆｉｃｉｅｎｔｌｙ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔ ｈｏｄｃａｎｌｏｃａｔｅｔｈｅｅｎｔｒｙｐｏｉｎｔｏｆｔｈｅｓｔａｃｋｂａｓｅｄｖｉｒｔｕａｌｍａｃｈｉｎｅｃｏｄｅ． Ｋｅｙｗｏｒｄｓ：ｖｉｒｔｕａｌｍａｃｈｉｎｅｐｒｏｔｅｃｔｉｏｎ；ｓｔａｃｋｓｗａｐｐｉｎｇ；ｃｌｕｓｔｅｒｉｎｇｏｆ