基于Wu―Manber算法大规模URL模式串匹配算法.docVIP

基于Wu―Manber算法大规模URL模式串匹配算法 　　摘要：大规模高速URL匹配是许多网络安全系统中的关键技术，经典串匹配算法在大规模URL情况下有许多限制。针对URL数据的特点在经典多模式串匹配算法Wu-Manber基础上提出XWM-Tree算法和XWM-Hash算法。算法应用了模式串窗口选择，两阶段哈希和关联容器组织冲突链表等多种优化手段，大幅度提高了算法的匹配性能。在大规模真实数据集上的测试结果表明本文提出的算法匹配速度可以提高一倍以上，尤其是当最短模式串较长的时候更有优势。 　　关键词： 多模式串匹配； URL匹配； Wu-Manber算法 　　中图分类号：TP391 　　文献标志码：A 　　文章编号：2095-2163（2017）05-0004-06 　　JIA Bowei， WU Zhigang， ZHANG Shuzhuang 　　Institute of Network Technology， Beijing University of Posts and Telecommunications， Beijing 100876， China） 　　Abstract： 　　Largescale highspeed URL matching is a key technology in many network security systems The classical pattern string matching algorithm has many limitations in largescale URLs In this paper， based on the WuManber algorithm， the XWMTree and XWMHash are proposed for URL matching The algorithm proposed in this paper applies a variety of optimization methods to speed up matching performance， such as optimal window selection， twophase hash and associative data structure The test on the real data set shows that the algorithms proposed in this paper has better matching performance than other algorithms， especially when the shortest pattern string is longer and the matching speed is about twice than other algorithms 　　Keywords：multistring matching； URL matching； WuManber algorithm 　　基金?目： 国家重点研发计划资助项目（2016YFB0801200）。 　　收稿日期： 2017-08-28 　　0引言 　　多模式串匹配是计算机科学领域的一个经典问题，所谓多模式串匹配就是在给定一个模式串集合P={p1，p2，…，pr}的情况下，（其中pi=pi1pi2…pim）对于一个任意给定的字符串T=t1t2…tn，找出P中的字符串在T中所有的出现位置。这里称P为模式串集合，pi为模式串，T为文本串，并且P和T都是定义在字母表Σ上的字符串。 　　多模式串匹配在网络信息安全领域有着十分广泛的应用，包括网络入侵检测/防御系统（IDS/IPS）、防火墙系统、垃圾邮件检测系统和反病毒系统等[1]。除此之外，串匹配技术在其它领域也有十分广泛的应用，如拼写检查、语言翻译、数据压缩、搜索引擎等[2]。目前，超文本传输协议（Hypertext Transfer Protocol， HTTP）是互联网领域应用最广泛的协议之一，除了传统的桌面端应用之外，很多移动端应用也使用HTTP协议作为承载协议。URL在HTTP协议中是最重要的一个域，标识着被请求的资源的位置[3]。对有害的URL进行过滤可以有效地对访问非法、有害等不良信息内容进行控制与管理。在海量的URL数据中检测有害信息需要消耗大量的计算资源和存储资源，在这种情况下如何保证串匹配算法正确高效地运行，是当前网络信息安全领域面临的一个重大难题。目前，在大规模URL匹配方面已有学者进行研究[4-6]，但是还未达到实际系统中的应用需求，亟待进一步的探讨研究。 　　本文在经典多模式串匹配算法Wu-Manber[7]的基础上结合URL数