恶意软件分发网络检测方法的研究-计算机技术专业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体 已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以 明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□， 在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 摘 要 恶意软件检测是网络安全领域重要的课题，目前的检测方法大多侧重于对恶意软 件自身的分析，但恶意软件可以通过代码混淆、变种等方法对抗这些检测。然而， 不论恶意软件自身如何变化，都需要将恶意软件分发到受害主机上运行。对大规模 网络数据的分析表明，分发主机使用的文件、域名、URL 等信息通常具有一定关联， 这为检测提供了新的角度。 通过研究恶意软件分发行为，提出一种基于 Hadoop 的适用于大规模网络环境下 检测恶意软件分发网络的方法。利用 MapReduce 加速数据的提取和处理，通过恶意 软件分发集群的检测、恶意软件专用主机检测、被挟持主机检测等三种特定行为分 析技术实现恶意软件分发主机的检测，形成初始检测结果集合。在恶意软件分发集 群的检测中提出了恶意软件集群划分算法，并使用随机森林算法对恶意软件分发集 群进行分类，还设计了一种可并行的数据均衡化算法；在后两种检测中分别使用了 基于恶意软件分发行为进行检测的启发式技术。在此基础上，利用初始检测结果集 合中恶意软件分发主机之间的关联构成恶意软件网络，设计了一种基于加权最长路 径的扩展算法，实现利用已有初始检测结果集合，检测那些通过特定行为分析无法 发现的分发主机，并去除初始集合中可能的误报。 实验中采集了 68 天共计 175G 的 HTTP 数据进行分析，在四个节点的 Hadoop 集 群中把数据提取阶段的加速比提高到 3.18。在恶意软件分发集群的检测中，随机森 林分类器的召回率达到 79.5%，在经过均衡化后的数据集在各个算法上把召回率提高 了 5%~18%。在恶意软件分发网络检测中，恶意软件分发主机的数量比利用恶意软 件检测方法所检测到的总量增加了 11.1%，而误报率下降了 10.3%。实验结果表明， 利用大数据技术对恶意软件分发网络进行检测的方法，能不受代码混淆等对抗技术 的影响，有效检测出恶意软件分发主机及其构成的网络，对现有恶意软件检测方法 的形成良好补充。 关键词：恶意软件，分发行为，数据挖掘 Abstract Malware detection is an important topic in the field of network security. Currently, most of the detection focus on the analysis of malware itself, but malware can avoid these types of detection by simply making the code more confused. However, regardless of what changes the malware itself, they final need to be distributed to the victims. After analyzing the large-scale network , find that there are some connections among the hosts who deliver malware ,the connection could be filename, domain name, URL or something else. By studying the behavior of malware distribution, the paper come up with a method based on Hadoop that can detect the distribution behavior among the malware delivery network Firstly, use MapReduce to accelerat