网络空间搜索引擎原理研究及安全应用.docVIP

网络空间搜索引擎原理研究及安全应用 　　[摘要]伴随着大数据的广泛应用，网络安全已不再是一个信息孤岛。从第一个莫里斯病毒的传播，到今天互联网随处可见的APT攻击，网络攻击与防御的博弈已经从单边的代码漏洞发展到了大数据对抗阶段。为此，论文以国外著名的Shodan搜索引擎为例，通过结合日常攻防实践、传统搜索引擎原理和Shodan搜索引擎的特征，深度剖析以Shodan为代表的网络空间搜索引擎的工作原理，并提出其在网络攻防方面的实战应用。进而为网络安全从业和研究人员，在网络安全研究及该类平台的建设中，提供有价值的参考和建议。 　　[关键词]网络空间搜索引擎；Shodan；原理研究；网络攻防实战 　　1 引言 　　传统搜索引擎对我们来说并不陌生，像Google、百度、Bing等，只要我们打开网页几乎就会用到。对于传统搜索引擎的理论研究，从上世纪末就已经开始。虽然到目前为止，Google和百度等搜索引擎厂商，仍未公布其核心算法，但是学界已经有一定的研究成果，并且形成了相对成熟的理论体系。 　　相比于传统搜索引擎，网络空间搜索引擎作为一个新颖的概念，它的诞生和研究则要滞后很多。以Shodan搜索引擎为例，Shodan是在2009年由著名安全专家JohnMatherly所创建的，是全球第一个全网设备搜索引擎。而不同于传统搜索引擎的以网页内容索引为主，Shodan的搜索目标集中在全球的IP地址上。即搜索范围在-55的所有设备及服务上。这样的搜索结果对于普通网民来说可能没有意义，但对于网络安全研究人员来说，这就是一个“聚宝盆”。相比国外来说，“网络空间搜索引擎”这个概念，据考证，是知道创宇安全公司于2013年首次在国内提出的，从定义的角度来说，还是比较合理地描述了Shodan等的功能特性。因此，本文在做分析时，采用了这个概念。据此，知道创宇也在国内建立了第一个网络空间搜索引擎――ZoomEye，ZoomEye与Shodan在扫描原理上大同小异，在指纹识别的重点上略有差异。本文在重点分析Shodan搜索引擎原理的同时，也会结合分析部分ZoomEye的优点和特性。 　　客观来说。不管作为理论研究还是应用研究，目前学界对网络空间搜索引擎的研究非常少，还没有形成一个清晰的定义和完善的理论体系。部分文章中也只是提到对Shodan等搜索引擎的简单使用，未涉及到深层次的原理分析。本文通过结合攻防实践、传统搜索引擎原理以及Shodan搜索引擎的特诊，深度剖析以Shodan为代表的网络空间搜索引擎的原理模型和功能模块，并提出相应的实战应用方法，以期为网络安全从业及研究人员。在之后的网络空间搜索引擎平台建设和攻防实战中，提供相应的参考和依据。 　　2 网络空间搜索引擎原理及功能分析 　　根据Shodan官网描述，Shodan能不间断地对全球40亿IP地址进行扫描及指纹识别，并提供快速、准确的结果搜索，每个月至少更新4亿的装置数据。本文对Shodan原理及功能的分析方法，主要是依据传统搜索引擎的原理，结合Shodan搜索引擎的特征，尽可能在理论上还原Shodan的工作模式，并在此基础上提出本文对搭建一个网络空间搜索引擎的几点可能的方案，以供安全人员参考和借鉴。图1是Shodan的应用截图。 　　2.1 框架模型分析 　　网络空间搜索引擎来源于传统搜索引擎，因此在对前者框架模型进行分析时，我们可以借用相对比较成熟的传统搜索引擎模型，这样更符合实际。 　　传统搜索引擎的基础技术主要包括四个重要环节：网络爬虫、建立索引、内容检索和链接分析。网络空间搜索引擎因处理的对象不同，故模块的重点也与传统搜索引擎有所不同，相比而言，前者技术上更容易实现。据此，本文根据传统搜索引擎及Shodan的功能特性，绘制出了简单的Shodan框架模型图，如图2所示。 　　在图2中。我们将Shodan的框架模型分为五个部分：扫描和指纹识别、分布存储、索引、UI界面以及调度程序，其中数据在前三个部分之间的传输都是双向的，调度程序则保证整个流程的运行。这个模型不难理解，是一个比较通用的搜索引擎框架，遵循了数据输入――数据处理――数据输出的基本原则。 　　2.2 功能模块分析 　　在上文中，分析了Shodan框架包含的五个构成部分，其中Web UI、调度程序和索引都是我们日常比较熟悉的。所以本节中将重点分析扫描和指纹识别、存储这两个网络空间搜索引擎的核心功能模块。 　　2.2.1 扫描模块 　　在对Shodan进行分析时，有一个疑问：究竟Shodan是怎么进行快速扫描的？全球从到55，一共42亿个IP地址，除去局域网IP地址，大概还有约40亿个IP地址。Shodan又是怎么保证快速更新IP扫描结果的？这个问题对于传统搜索引擎来说，它是不会考虑的，因为蜘蛛的工作方式是爬行网