分规则RulesetPartition并发检测模型.PDF

分规则(Ruleset Partition) 并发检测 模型 目录  现有IDS负载均衡技术介绍  IDS检测性能影响参数  规则负载均衡技术 1. 现有IDS负载均衡技术介绍 [1]  基于流(flow based)的负载均衡 : 系统维持着一张流表(记录着活动流 和并发运行着的线程之间的对应关系), 每个到达的报文都先和对应的 流进行匹配，再查询上述的表，将报文分配到对应的线程进行相应的 处理。但flow based负载均衡不能完全利用并行，因为存在着不均匀 的流量空间(space)、持续时间(duration)、大小(size)的分配。 [2]  自适应(adaptive)的负载均衡 : 能够通过对流量的预测来调整处理器 之间的调度比，这可能能缓解flow based 负载均衡出现的问题，但是 adaptive 负载均衡本质上依旧是flow based.而且，adaptive负载均衡 由于自身的复杂性将不可避免的增加系统的开销。 1. 现有IDS负载均衡技术介绍  基于流量(flow based)的负载均衡:  典型架构：Suricata: pipeline parallelization with static LB scheme  架构图:  相关LB说明：最新的suricata默认使用static hash作为负载均衡（E.g. 使用tcp/ip报文 头中的五元组进行hash)。当然由于suricata 的高度模块化，所以我们可以很容易的对 LB scheme模块进行替换·(这有利于我们针对不同LB方式进行测试和比较）。 1.现有IDS负载均衡技术介绍  基于自适应(adapative)的负载均衡:  典型架构：Para-Snort[7]: Parallel Snort with adaptive LB scheme  架构图:  相关LB说明：para-snort 使用M- JSQ(modified Join-the-Shortest-Queue)进 行自适应的负载均衡。每当属于一个流的报文到达时，若此流并未分配到一 个线程上，那么(采用)JSQ(的进程)会查看所有的报文处理(packet processing) 线程的缓存队列，并选出拥有最短缓存队列长度的线程来处理这个新的流。 而M-JSQ是对JSQ进行了相应的扩展。 2. IDS检测性能影响参数 [3]  此文 将报文检测(PD)模块分为两个部分,进行分析:  预过滤器(pre-filter): 使用多模式匹配(Multi-Pattern Matching)指纹识别(fingerprint)引擎过滤掉那些 明显良性的报文, 注: fingerprint集合是从每条规则中选取的一小部分模式(pattern)组成的。  验证单元(Verification Units): 结合pre-filter 中的指纹证据对可疑的报文进行深入(in-depth)的分析。 [3]  为了分析报文的处理时间，此文 作者建立了一个简单的模型，来计算PD模块处理每 一个报文的平均时间。  公式： 其中：Tpre 为当pre-filter阶段只有一个fingerprint时检测一个报文的平均时间，α为检测规则集增加时的 影响系数（随着规则集的增大，由于多模式匹配引擎更容易发生TLB 和cache 的不命中，所以此影 响因子会相应的增加）。而对于VU阶段，Tv为只有一个规则时检测一个报文所需要的平均时间， N称作验证计数(即表示为每个报文在VU阶段需要验证的平均规则数量）。 [3] Jiang H, Xie G, Salamatian K. Load Balancing by Ruleset Partition for Parallel IDS on Multi-Core Processors[C]//International Conference on Computer Communications and Networks, ICCCN. 2013. 2. IDS检测性能影响参数  综合上文的分析，我们可以得到在系统配置一定的情况下，单个报文检测单元(PD)检