基于程序语义的静态恶意代码检测系统的研究与实现-计算机科学与技术专业论文.docxVIP

Classified Index: TP309.5 U.D.C: 004.49 Dissertation for the Master Degree in Engineering RESEARCH AND IMPLEMENT ON STATIC MALWARE DETECTION SYSTEM BASED ON PROGRAM SEMANTICS Candidate: Yuan Xuebing Supervisor: Associate Prof. Ding Yuxin Academic Degree Applied for: Master of Engineering Specialty: Computer Science Technology Affiliation: Shenzhen Graduate School Date of Defence: December, 2009 Degree-Conferring-Institution: Harbin Institute of Technology 哈尔滨工业大学工学硕士学位论文 哈尔滨工业大学工学硕士学位论文 摘 要 恶意代码不再仅是用来炫耀技术而是成为不法分子牟取不正当利益的工 具。基于特征匹配的方法忽略了程序行为导致特征没有泛化性，一个特征只 能检测一种变种，而动态检测的死穴在于可观行为局限在一个有限的时间段 或程序分支中，而将来的或其他分支的行为是不可预期的。因此上述方法在 面对暴利刺激下层出不穷的恶意代码变种时显得力不从心。 程序语义提供了程序行为的形式化模型，意味着从语义角度可以检查可 疑代码所有的执行路径，并能展现在语法层次上被故意隐藏的不同变种间的 相似性。但理论上静态分析程序完整语义是不可判定和不可计算的，本文通 过系统函数调用观察程序行为，经过两次抽象在两个不同的近似语义层次上 将模型检测恶意行为和基于面向目标的关联度（Objective-Oriented Association, OOA）挖掘恶意代码检测统一在程序语义这一共同框架之下。 模型检测恶意行为实质是检测可疑程序所有可能的执行路径中是否存在 一条实现特定恶意行为的路径（恶意行为模板）。参考方法由于没有引入数据 流分析，使得恶意行为模板及其繁杂。本文首先反汇编可疑程序并引入控制 流和数据流分析构造语义模型，同时恶意行为被统一抽象为有限状态机的形 式，并最终转化成对应的计算树逻辑（Computation Tree Logic, CTL）公式， 最后由标记算法完成验证工作。实验证明由于数据流分析的引入本文方法可 极大地简化恶意行为的描述。 基于 OOA 挖掘的方法检测可疑程序调用的 API 集合是否存在特定的子集 （规则）。本文利用 IDA Pro 插件提取可执行文件所调用的 API 集合，采用快 速的 OOApriori 算法挖掘满足特定目标的规则，并由此规则分类。通过改进规 则挖掘策略、强化规则选择条件、引入多规则积累和多分类器仲裁机制等措 施在显著减少原 OOApriori 挖掘时间的同时提高了所挖掘规则的质量而且有 效解决了参考方法的样本敏感性问题。 针对上述两种方法对于加壳和 API 隐藏技术的局限性，本文基于程序语 义的静态恶意代码检测系统引入启发式检测作为有力补充，最终该系统能自 动脱壳加壳恶意代码，在不需特征库的情况下就能检测未知恶意代码及其变 种，并能在一定准确度上提供恶意代码所属子类别和拥有的恶意行为的信息。 关键词：恶意代码；程序语义；模型检测；面向目标的关联度挖掘；启发式 I - Abstract Malwares are used not only to show off hackers’ skills but also to gain illegal incomes by criminals. Signatures of signature-based approach ignoring program behaviors are not general enough to match unseen malwares, each signature can detecte only one variant. Observation of the behaviors of an executable will always be limited to a certain time span or a specific execution path is the Achilles’heel of dynamic detection. So the above methods are inadequate in the face of emerging of obfus