基于Snort，Mysql，Hadoop，和HBASE实现异常流量检测与入侵.pdfVIP

基于Snort ，Mysql，Hadoop，和HBASE 实现的异常流量检测与入侵调查系统 linxinsnow[N.N.U] 一、前言： 检测企业网络环境中 ，黑客的入侵行为 ，是一个难题。对此 ，一般有两种手段 ，基于误 用检测(misused-based)方法和基于异常检测(anomaly-based)方法 ，前者通过总结和收集 黑客在攻击发生时 ，采用的工具或者行为特征 ，对网络流量进行模式匹配 ，进行告警 ，优点 是检测速率快 ，告警信息明确 ，对于已知漏洞可以做到实时检测 ，如常见的IPS ，IDS类设 备。但是这种基于特征的检测手段 ，对于未知漏洞 ，或者经过黑客精心构造 ，编制的攻击手 段，检测能力不足，特别是针对近年来盛行的APT攻击和数据窃取、内部犯罪等行为，无 法检测 ，同样这种检测方式需要生产厂商长期维护一个昂贵的漏洞库和签名库，并且更新永 远是滞后于攻击行为。而后者的检测方法 ，是基于网络中任意一个节点元素的流量特征行为 ， 通过特定算法建立访问模型或控制矩阵 ，通过模式匹配和相似度分析 ，从庞大的流量中挖掘 出黑客的攻击行为。本文就是基于后者的检测概念 ，通过几款开源软件 ，打造自己的异常流 量检测与入侵调查平台。 二、系统设计： 本人公司在架构上属于双业务中心 ，全国多个分公司专线接入 ，统一上网出口。根据分 公司不同，在网络规划上，将每个分公司使用不同的Vlan进行了隔离，但是Vlan之间的 访问时没有访问控制策略的。针对这种情况 ，为了能够更好地检测可能发生的黑客入侵和内 部恶意行为 ，我需要将所有的Vlan之间访问流量 ，上网流量全部进行捕获 ，初步计算下来 ， 整体的流量达到几个G ，因此必须进行分部署采集和分布式数据库存储。 针对每个流量采集器的线性流程为： 为了防止可能由于网络原因出现的后端分布式数据库连接中断，中间采用了多级架构 ， 其中缓存数据库，用于进行前端流量采集的缓存，然后通过采集器将 Mysql数据库中的流 量记录，全部输入分布式数据库 Hbase中，通过Hbase进行存储、建模和调查。 1. 流量采集器 使用开源的Snort ，将多余的 Preprocessor和规则全部删除 ，只留下采集所有流 量的规则与黑白名单功能： 其中linxinsnow.rules内容为： 用于记录所有的流量信息，但是不在乎包的内容，保留了 White_list.rules 和 Black_list.rules用于后期对流量的优化功能。配置Snort采用 Mysql数据库的方式保存攻 击记录： 启动Snort的命令行参数为： Snort.exe-clinxinsnow.conf-N 其中的-N表示不在本地保存数据，这样可以防止采集器的硬盘被占用。 运行效果如下： 由于关闭了相关的Preprocessor处理功能，在流量达到几百 M的网口上，CPU也没 有超过10%。 2. 前端缓存数据库 前端缓存数据库在选型上没有太多考虑，因为Snort与Mysql结合较好，所以采用了 Mysql数据库，但在进行信息收集和处理的时候，需要注意几点： 1.Snort送到 Mysql中的记录，并不是流量访问记录，需要通过Base平台进行转换 ； 2.由于采集器需要对Mysql进行非常频繁的查询、删除操作 ，因此采用Mysql的默认 数据库引擎，即利用磁盘进行存储的方式无法满足，非常容易将 Mysql弄宕机。因此需要 使用 Memory表的方式进行存储。 3.需要修改 Mysql的相关配置，根据服务器的内存进行极限调整，尽量增大缓存的数 据数量，让 Mysql的Memory表能够最大化利用。 其中 Base是一款开源的Snort前端 ，采用php界面 ，Base的作用是对Snort的原始 数据日志进行分析，数据类似：IP1:PORT1 -IP2:PORT2:事件，这样的规范格式。因此 我们在对数据采集的时候 ，需要在采集器上做一个定时脚本 ，调用 PHP 访问Base的首页 ， 也就是对Snort进行数据分析的程序。 调用的链接为php/var/www/base_main.php 截图中的数字代表目前已经处理完成的访问记录数 ，刷新 Base页面的频度根据流量大 小进行调整。 Base的前端页面效果为