扩展字符串匹配.pptVIP

Reading Notes 提纲 文章内容介绍 新的正则表达式表示方法 -- Delayed Input DFA（ ） 基于 的硬件体系结构 -- 多嵌入式内存 基于硬件体系结构的负载平衡算法 作者及其实验室介绍 一些个人想法 文章主要内容 使用技术 算法 -- 文中给出的 自动机表示方式 -- 负载平衡算法 硬件 -- ASIC技术 -- 多个有限容量的嵌入式内存 实现结果 表达式规模 千规模的正则表达式 扫描匹配速度 OC-192（10Gbps） Delayed Input DFA – 背景 正则表达式匹配需求 深层次内容检测（NIDS/NIPS） 第7层网关和防火墙 基于内容流量管理 现有系统 Snort Bro 3Com’s TippingPpint Cisco System 现有技术缺陷 典型的正则表达式集合规模为：百级别 字符集为256（ASCII）,平均出边为50多 （？？） ? tens of thousands of states ? Hundreds of megabytes ? Table compression techniques are not effective Delayed Input DFA – 主要思路1 算法思路 增加一条Default边 -- Default边有方向 -- 每个结点最多只能有一条Default边 -- 所有Default边不构成回路 用时间换空间 -- 对于输入字符，某结点没有对应出边时，则根据Default边到达下一结点。 -- 循环往复，直至找到对应出边或到达没有Default边的结点。 Default边构造方式 如果结点u和v在某输入字符均到达点w，则可以增加一条u-v(or v-u)的default边。 Delayed Input DFA – 主要思路2 举例说明 Delayed Input DFA – 主要思路3 生成Default边算法 构建一个无向带权图 权重为两个结点中相同字符对应出边指向同一结点的边数减1 问题转化成：最大权生成树问题。 Delayed Input DFA – 主要思路4 主要问题 生成的最大权生成树其Default Path不是最短的。 Default Path最短为1（图1所示），生成树则为2（下图所示）。 限长最大权生成树问题是NP-Hard问题。 Delayed Input DFA – 主要思路5 解决思路 采用Kruskal生成树算法思想 启发式的获得相对较好的生成树 在最大权和最短树高之间做平衡 得到的可能会是个森林（多棵树） 具体方法 初始阶段：每个结点都是一棵树 权重从 255 - 1 递减判断选择边 边{u，v}被选中条件 -- u和v不属于同一棵树 -- 加入该边不会使树直径超过预定值 Delayed Input DFA – 实验部分1 测试集 Delayed Input DFA – 实验部分2 实验结果 根据试验结果，将表达式分组将会进一步减少空间 92MB for 9 partitions of the Cisco ruls 1+ GB without clever rule partitioning 文中没有给出如何分组 硬件体系结构 Regex System Architecture FPGA来作为存储部件：Xilinx Virtex-4 -- 几百个18Kbit的内存块组成几兆的内存单元 -- 使用多个内存单元 300MHz的时钟频率 负载平衡 内存单元数目不能使用太多 内存单元数目跟时钟频率成反比 需要分配有限的资源 问题描述 m个内存模块，p个并发扫描器 建立模型 -- p个小球放在m个箱子里的问题 -- 其中每个箱子只允许最多放1个球 Randomized Mapping m个球随机放 平均内存利用率：65% Randomized Mapping 性能测试 MIT DARPA Intrusion Detection Data Sets 插入1%的匹配数据 正则表达式测试集（文中没说明） Deterministic and Robust Mapping 主要目标 同时执行的自动机应当位于不同的内存模块中 -- 避免内存冲突