混合模糊测试优化技术研究.pdfVIP

哈尔滨工业大学硕士学位论文

摘要

软件漏洞作为当前计算机系统的主要威胁来源之一，可以使攻击者绕过授

权机制入侵和破坏系统，导致数据篡改、隐私泄露等严重后果。因此，主动发

掘和分析潜在漏洞对安全具有重要意义，自动化技术则能够进一步降低挖掘成

本。目前使用最广泛的自动化漏洞挖掘工具是模糊测试，而混合模糊测试是模

糊测试的一种改进，其由模糊测试和符号执行组成，在程序覆盖和漏洞触发上

均有不错的表现，近年来在安全领域得到了广泛的关注和研究。然而，混合模

糊测试尚处于研究初期，仍存在一些性能瓶颈有待提升：首先，运行时的符号

翻译开销较大，影响整体模糊测试的效率；其次，已有的种子调度方法更倾向

于以程序覆盖为引导，但不一定能高效地触发漏洞；最后，符号执行存在过度

求解现象，浪费较多的计算资源。本文使用静态符号预插桩方法、漏洞引导的

种子调度和协同性求解优化策略来解决上述问题。

首先，针对运行时高符号翻译开销问题，本文设计并实现面向闭源程序的

静态符号预插桩方法，从三个层面进行多粒度插桩：在指令级别上，按照赋值、

调用、运算、条件四类指令进行不同的功能插桩，实现表达式建模函数预插桩；

在基本块级别上，对跳转的数据传递进行存储插桩，记录约束的可能来源；在

函数级别上，为插桩所用内存提供安全的栈空间，保证原函数的正常运行和插

桩的正确访问。本文使用三组包含约束的程序进行测试，与SymCC和

SymQEMU进行对比，最终取得较好的开销降低效果。

其次，针对漏洞的触发效率问题，本文提出漏洞引导的种子能量调度方法，

使用静态污点传播分析得到程序内基本块的敏感系数，基于Katz中心性原理计

算基本块在未探索部分中的重要性，根据基本块重要性生成种子的基础能量，

表示种子的漏洞触发可能性；随后，使用符号执行的求解失败反馈，校正生成

种子的最终能量，以权衡求解成本和漏洞可能性。本文在LAVA-M程序base64、

真实程序tcpdump、readelf上进行测试，与AFLFast、AFL++、QSYM进行对

比，最终在漏洞触发上取得更优的效果，在程序覆盖上取得不错的效果。

最后，针对过度求解和低协同性问题，本文使用两种启发式策略实现混合

模糊测试的协同性优化方法。一方面，同步启动策略确保符号执行与当前最新

模糊测试同步执行，在获取所有种子的最新能量的同时，调整符号执行的优先

级计算方法，提高整体协同性；另一方面，污点分析辅助的约束缓执行策略使

用污点分析结果得到约束的相关重要性，结合缓执行机制，确定当前约束是否

-I-

哈尔滨工业大学硕士学位论文

参与求解，减少约束的无效重复求解次数。本文对两种策略在LAVA-M程序

base64、真实程序readelf上开展对照实验，最终前者取得略优的效果，后者存

在优化程度激进问题，取得一般的效果。

关键词：混合模糊测试；闭源程序；漏洞导向；污点分析；Katz中心性

-II-

哈尔滨工业大学硕士学位论文

Abstract

Oneofthemainsourcesofdangerstomoderncomputersystemsissoftware

vulnerabilities,whichallowattackerstoenteranddestroysystemswithoutbeing

detectedandcausecatastrophiceffectsincludingdatamanipulationandprivacy

leaking.Therefore,identifyingandevaluatingthe