基于网络爬虫和Fuzzing的漏洞挖掘检测工具.pdf

MicrocomputerApplicationsVo1．32，No．3，2016 技术交流 微型电脑应用2016年第32卷第3期 4测试 表 4对于和讯网网站的漏洞挖掘结果对比 本章主要给出MJVulnerabilityMiningTool的实际测试 结果，并且与其他知名漏洞挖掘工具做横向对 比。分别用本 工具，AcunetixWebVulnerabilityScanner和Paros对 2个大 型门户网站进行了扫描，并且分析了结果。 4．1测试环境 CPU：IntelPentium E58003．20GHz 内存 ：4GB 操作系统：WindowsXPSP3 Java版本：JDK1．7 网络环境：SJTU校园网 4．2网络爬虫测试 新浪 对 比开源爬虫工具BlueLeech和 自行编写的爬虫MJ 使用MJVulnerabilityMiningTool，对www．sina．eom．en Crawler，如表 3所示 ： 进行了漏洞挖掘。耗时 l5小时7分钟，测试了20513个有 表 3BlueLeech和MJCrawler对比 效URL。最终发现漏洞 11个，其中6个为URL重定向漏 洞 ，5个为反射型 XSS漏洞。经人工验证后，有效 URL漏 洞为4个，有效反射型XSS漏洞为 3个。 作为比较，使用AcunetixWebVulnerabilityScanner8同 样对 cn．yahoo．com做了测试。www．sina．eom．cn进行测试时， 测试开始约 5分钟后，程序处于假死状态，等待 2天后扫描 仍未完成，因此认为对此网站的扫描无法完成。使用Paros 进行扫描，发现了3个 XSS反射性漏洞，经过验证，有效 的漏洞数为 2个，如表 5所示： 表5对于新浪网站的漏洞挖掘结果对比 使用BlueLeech爬虫系统，速度较慢。爬到的结果中重 复的URL比较多，静态的页面较多，相对来说有利用价值 的比较少。使用BlueLeech爬取网站时，速度较慢。爬取新 浪网站 (www．sina．com．cn)时耗费时问 1天 10小时，爬取 的URL结果大小多达 136．5MB，但是当使用 自己编写的 URL筛选器过滤后，有效的URL (可能含有XSS漏洞的网 页)仅为 38．6MB。有效的结果 比例仅为 28．3％，效率 比较 低。而在上述有效的URL中，最终真正发现的漏洞数为零。 根据漏洞挖掘系统的需求编写了爬虫MJCrawler精简 了整个漏洞挖掘系统中不需要的部分 (比如下载页面，存入 注：由于xenotix每次只能针对一个URL进行扫描 (无 法输入一个站点扫描整个网站)。因此没有放在结果对 比中。 磁盘等操作)。爬取新浪网站的时间缩短为 11小时。爬取的 经过实际测试，将MJVulnerabiliytMiningTool扫描出的带 URL结果为 1，082KB，有效的URL为 839KB。有效结果比 有 问题的U