一种基于增强型调度器的虚拟机软件保护方法.PDFVIP

第３５卷第１１期　　　 计算机应用与软件 Ｖｏｌ３５Ｎｏ．１１ ２０１８年１１月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｎｏｖ．２０１８ 一种基于增强型调度器的虚拟机软件保护方法 １ ２ 谢　鑫 　向　飞 １（湖南信息学院　湖南长沙４１０１５１） ２（信息工程大学　河南郑州４５００００） 摘　要　　考虑到现有虚拟机的软件保护方法一般是通过改进虚拟指令处理函数（Ｈａｎｄｌｅｒ）来提升保护强度，而 调度器（Ｄｉｓｐａｔｃｈｅｒ）是除了Ｈａｎｄｌｅｒ之外构成虚拟机保护框架的重要模块，为逆向分析者的重点攻击目标。针 对Ｄｉｓｐａｔｃｈｅｒ模块易受静动态逆向攻击的问题，提出一种基于增强型 Ｄｉｓｐａｔｃｈｅｒ的虚拟机软件保护方法。对 Ｄｉｓｐａｔｃｈｅｒ模块中的指令序列进行多样化，切分所有指令序列。随机选择不同的指令片段进行控制流迭代混淆和 加密。采用随机函数对指令片段进行连接，形成新的Ｄｉｓｐａｔｃｈｅｒ模块。实验表明，该方法在给受保护程序引入部 分时间和空间开销下，能有效提升整体虚拟机保护框架的安全性。 关键词　　调度器　虚拟机保护　多样化　控制流迭代混淆　加解密 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１８．１１．００２ ＡＶＩＲＴＵＡＬＭＡＣＨＩＮＥＳＯＦＴＷＡＲＥＰＲＯＴＥＣＴＩＯＮＭＥＴＨＯＤ ＢＡＳＥＤＯＮＥＮＨＡＮＣＥＤＤＩＳＰＡＴＣＨＥＲ １ ２ ＸｉｅＸｉｎ　ＸｉａｎｇＦｅｉ １（ＨｕｎａｎＩｎｓｔｉｔｕｔｅｏｆＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｓｈａ４１０１５１，Ｈｕｎａｎ，Ｃｈｉｎａ） ２（ＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｚｈｅｎｇｚｈｏｕ４５００００，Ｈｅｎａｎ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｔｈｅｅｘｉｓｔｉｎｇｓｏｆｔｗａｒｅｐｒｏｔｅｃｔｉｏｎｍｅｔｈｏｄｆｏｒｖｉｒｔｕａｌｍａｃｈｉｎｅｅｎｈａｎｃｅｓｐｒｏｔｅｃｔｉｏｎｓｔｒｅｎｇｔｈｂｙｉｍｐｒｏｖｉｎｇｔｈｅ ｖｉｒｔｕａｌｉｎｓｔｒｕｃｔｉｏｎｈａｎｄｌｅｒ．Ｄｉｓｐａｔｃｈｅｒｉｓａｎｉｍｐｏｒｔａｎｔｍｏｄｕｌｅｉｎｔｈｅｖｉｒｔｕａｌｍａｃｈｉｎｅｐｒｏｔｅｃｔｉｏｎｆｒａｍｅｗｏｒｋｂｅｓｉｄｅｓ Ｈａｎｄｌｅｒ，ｗｈｉｃｈｉｓｔｈｅｋｅｙａｔｔａｃｋｔａｒｇｅｔｆｏｒｒｅｖｅｒｓｅａｎａｌｙｓｔｓ．Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍｔｈａｔｄｉｓｐａｔｃｈｅｒｍｏｄｕｌｅｗａｓ ｖｕｌｎｅｒａｂｌｅｔｏｓｔａｔｉｃａｎｄｄｙｎａｍｉｃｒｅｖｅｒｓｅａｔｔａｃｋｓ，ｗｅｐｒｏｐｏｓｅｄａｓｏｆｔｗａｒｅｐｒｏｔｅｃｔｉｏｎｍｅｔｈｏｄｆｏｒｖｉｒｔｕａｌｍａｃｈｉｎｅｂａｓｅｄｏｎ ｅｎｈａｎｃｅｄｄｉｓｐａｔｃｈｅｒ．Ｔｈｅｍｅｔｈｏｄｄｉｖｅｒｓｉｆｉｅｄｉｎｓｔｒｕｃｔｉｏｎｓｅｑｕｅｎｃｅｓｉｎｄｉｓｐａｔｃｈｅｒｍｏｄｕｌｅ．Ａｌｌｔｈｅｉｎｓｔｒｕｃｔｉｏｎｓｅｑｕｅｎｃｅｓ ｗｅｒｅｓｅｇｍｅｎｔｅｄａｎｄｄｉｆｆｅｒｅｎｔｉｎｓｔｒｕｃｔｉｏｎｓｅｇｍｅｎｔｓｗｅｒｅｒａｎｄｏｍｌｙｓｅｌｅｃｔｅｄｆｏｒｃｏｎｔｒｏｌｆｌｏｗｉｔｅｒａｔｉｖｅｃｏｎｆｕｓｉｏｎａｎｄ ｅｎｃｒｙｐｔｉｏｎ．Ｒａｎｄｏｍｆｕｎｃｔｉｏｎｓｗｅｒｅａｄｏｐｔｅｄｔｏｃｏｎｎｅｃｔｔｈｅｉｎｓｔｒｕｃｔｉｏｎｓｅｇｍｅｎｔｓｔｏｆｏｒｍａｎｅｗｄｉｓｐａｔｃｈｅｒｍｏｄｕｌｅ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔｓｈｏｗｓｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｃａｎｅｆｆｅｃｔｉｖｅｌｙｉｍｐｒｏｖｅｔｈｅｓｅｃｕｒｉｔｙｏｆｔｈｅｏｖ