基于APIHook的进程行为监控系统-云南大学.PDF

云南大学学报（自然科学版），２０１８，４０（３）：４６６～４７３ ＤＯＩ：１０．７５４０／ｊ．ｙｎｕ Ｊｏｕｒｎａｌ ｏｆ Ｙｕｎｎａｎ Ｕｎｉｖｅｒｓｉｔｙ 基于ＡＰＩ Ｈｏｏｋ 的进程行为监控系统∗ １，３ １ ２ ３ 沈济南 ，胡俊鹏 ，梁　 芳 ，杨洁勇 （１．湖北民族学院信息工程学院，湖北 恩施　 ４４５０００；２．湖北民族学院理学院，湖北 恩施　 ４４５０００； ３．华中科技大学 计算机学院，湖北 武汉　 ４３００７４） 摘要：基于ＡＰＩ Ｈｏｏｋ 的进程行为监控系统，利用钩子技术和内存保护技术，实现了透明地对客户机进程 ＡＰＩ调用行为的安全监控．首先通过对客户虚拟机的ＡＰＩ 函数设置钩子，截获虚拟机中的进程ＡＰＩ调用行为； 接着利用内存保护技术，对客户机的钩子进行隐藏和保护，保证行为监控对客户虚拟机的透明性；然后利用虚 拟机管理器的隔离性，将安全工具放在安全域中，一方面防止恶意进程检测并且攻击安全工具，另外一方面解 决恶意租户利用虚拟机进行攻击的问题；最后在截获客户虚拟机ＡＰＩ调用的基础上，利用语义重构技术，对客 户虚拟机进程创建、文件操作、注册表操作等行为进行细粒度监控．测试结果表明：①监控系统可以有效的截获 客户虚拟机进程ＡＰＩ调用，结合语义重构技术，监控系统能够有效地对进程创建、文件操作、注册表操作等进程 行为进行监控；②针对单个Ｈｏｏｋ点性能测试表明，监控系统截获ＡＰＩ调用对系统性能的影响为４．８％；③在文 件监控方面，基于ＡＰＩ Ｈｏｏｋ 的进程行为监控系统相对于现有截获系统调用的监控系统性能提高７３％． 关键词：虚拟机；ＡＰＩ Ｈｏｏｋ；虚拟机管理器；进程行为；安全监控 － － － 中图分类号：ＴＰ ３０９　 　 文献标志码：Ａ　 　 文章编号：０２５８ ７９７１（２０１８）０３ ０４６６ ０８ 　 　 对于虚拟机的安全监控，可以像传统的安全监 控的基础上，通过硬件虚拟化特性和内存保护机 控一样，在每个虚拟机中安装病毒查杀软件．但是 制，将监控工具部署在客户机系统中．每当事件被 由于云计算的开放性，要在每台用户租用的虚拟机 截获时，钩子函数跳转到安全监控工具，由监控工 中安装杀毒软件代价非常昂贵．并且，随着恶意程 具分析处理．由于监控工具位于客户机系统中，能 序变得越来越智能化，欺骗性越强，它们往往具备 够直接获取系统级语义，无需进行语义重构，减少 ［１］ ［８］ 反调试，隐藏恶意行为和攻击安全工具的功能 ． 性能损耗 ．ＳＩＭ 同样存在需要对客户虚拟机进行 ［９］ 特别是租户有可能是恶意用户，它可能卸载杀毒软 修改的缺陷 ． ［１０］ 件并且通过自己租用的虚拟机恶意攻击其它计算 ＥａｇｌｅＥｙｅ 提出通过在客户机系统安装钩子， － ［２ ３］ 机系统 ． 利用ＥＰＴ特性和内存保护技术隐藏钩子，实现透 ［４］ Ｌａｒｅ