数据采集说课.docx

日志采集 数据采集系统为一个软硬件一体的专用设备，它负责根据用户定义的监控策略对工控系统操作行为进行采集、预处理，并把预处理后的数据流发送给数据中心作进一步的分析处理。 数据采集系统可以部署在工业控制系统数据采集接口处来监控操作信息流，并将采集到的信息封装发送给数据处理系统。 该模块实现的关键是能否准确、完整地获得数据包。数据采集模块采集数据的完整性,是决定审计结果是否准确、完整的关键。 监控日志数据采集。 主要是采集监控过程和监控结果信息。根据审计转储的策略。依据时间、大小将监控日志文件使用安全通信信道传送到安全审计中心，安全审计中心接收代理发来的监控日志数据，具体接收过程由安全审计中心和代理之间协调。经过数据转储，安全审计中心接收到监控日志文件。由于网络数据流量很大．而且文件形式的存储不利于对数据的分析。因此安全审计中心将接收到的监控日志文件，经过预处理后入库。接下来即可以充分利用数据库的优点，进行安全审计管理与分析。 (2)网络受控终端日志数据采集。 局域网络受控终端的系统事件、系统进程、系统服务等信息对于局域网络的安全检测和管理至关重要。因此有必要对局域网络受控终端日志信息进行采集。局域网络监控系统的终端数据采集引擎采集受控终端的系统日志，然后通过安全通信信道将日志信息转储到安全审计中心，进行安全审计分析。 (3)网络监控配置信息及操作日志采集。 网络安全管理中心对局域网络监控系统进行管理，记录终端注册、局域网络监控策略配置和安全通信配置等信息；同时记录系统用户的操作日志，如系统管理员添加、删除、修改局域网络监控配置日志，以及上传策略、下载策略、证书更新操作等；安全管理中心通过安全通信信道将这些信息转储到安全审计中心，根据需要进行分析处理。 在网络环境中，由于网络节点的多样性，设备的多样性，就必然带来了日志的多样性。面对这些各种各样的日志，本文将这些日志区分为四种主要的类型:操作系统日志、安全设备日志、网络设备日志、应用系统日志。特别在某些不会产生混淆的情况下，上述四种???志在本文中采取“网络日志”的方式进行通称。 网络数据包采集 数据包采集单元是网络信息审计系统的基础组件。一般指通过截获整个网络的所有信息流量，根据信息源主机，目标主机，服务协议端口等信息简单过滤掉不关心的数据，再将用户感兴趣的数据发送给更高层的应用程序进行分析。一方面，网络数据包采集模块要能保证采集到所有网络上的数据包，尤其是检测到被分片的数据包 (这可能蕴涵着攻击)，另一方面，数据截取模块截取数据包的效率也是很重要的，它直接影响整个信息审计系统的运行速度，影响到信息审计对现代高速网络的适应能力。在普通网络环境中，通常情况下，我们可以直接使用系统提供的 API 接口来进行数据包的采集，这种方法非常简单，易于实现，但其功能有限并且效率较低。 3.3.1数据采集 以太网内的一台计算机和其他主机进行通信,在硬件上需要网络适配器,在软件上需要网络适配器驱动程序每个网络适配器在出厂时都有惟一的MAC地址,同时,当网络中有两台主机在进行TCP/1P通信时,每个网络适配器还必须绑定惟一的IP地址。对于网络适配器而言,一般有四种数据接收模式: (1)直接模式是指只有目的地址相符的网络适配器才能接收该数据帧。 (2)广播方式是指接收所有的广播数据帧。 (3)组播方式是指接收特定的组播数据帧。 (4)混杂模式是指对数据帧中的目的地址不加任何检查,接收所有的网络数据帧。 对照这几种模式,可以看出正常的网络适配器应该只接收发往自身的、广播和组播数据帧。利用网络适配器的工作原理,可以对不同的网络进行监听。 网络监听技术 (1)共享式网络环境下的监听 以太网数据帧传输通过广播实现在同一个共享局域网(只有Hub这类设备存在)的计算机上都可以收到网络上传输的所有数据帧,但在正常情况下,计算机只接收以本机为目标主机的数据帧,其他数据帧过滤后将被丢弃不作处理。这是因为在网络接口中内建有一个数据帧过滤器,该过滤器的作用是保留以本网络接口的MAC地址为通信目的地址的数据帧和广播数据帧,丢弃所有其他无关的数据帧,以免除CUP对无关的数据帧做无谓的中断处理。这是网络适配器在一般情况下的工作方式。在这种方式下,网络接口只将收到的数据帧中与本机有关的部分向上传递。 然而,数据帧过滤器是可以编程禁用的。禁用数据帧过滤器后,网络适配器将把接收到的所有的数据帧向上传递,上一层的软件因此可以监听以太网中其他计算机之间的通信,这就是所谓的“混杂”工作模式。多数网络适配器都支持混杂模式,而且混杂模式还是微软公司的PC99规范对网络适配器的一个要求。网络接口的混杂模式使得采用普通网络适配器作为网络探针,实现网络的监听变得非常容易。这在一方面方便了网络管理,但在另一方面,普通用户也能容易地监听到网络通信,对用户