一种面向大规模短特征集的字符串匹配技术-计算机工程与应用.PDFVIP

Computer Engineering and Applications 计算机工程与应用 2014 ，50（1） 105 一种面向大规模短特征集的字符串匹配技术 李志文，张 伟 LI Zhiwen, ZHANG Wei 北京信息科技大学 计算机学院，北京 100085 School of Computer, Beijing Information Science and Technology University, Beijing 100085, China LI Zhiwen, ZHANG Wei. String matching technology for large-scale short pattern set. Computer Engineering and Applications, 2014, 50 （1）：105-110. Abstract ：Large-scale pattern set for the string matching technology in virus detection, content filtering and other applica- tions become widespread increasingly, while the short pattern has been a major bottleneck impeding performance improve- ments. Based on optimization of the jump algorithm, short pattern strings are analyzed and discussed, and strategies of dynamic block size, dynamic Hash processing and the scene of the Hash function design are applied, besides, the relationship between multi-core processors and multi-threading design is explored. Experimental data prove that the improved algo- rithm is available to support one million size pattern set for string matching. Key words ：large-scale pattern set ；string matching; short pattern; Hash function; multi-threading technology 摘 要：面向大规模特征集的字符串匹配技术在病毒检测、内容过滤等问题上的应用愈加广泛，而短模式串一直是 阻碍性能提升的重要瓶颈。针对短模式串进行分析讨论，基于跳跃算法优化，采用了动态块大小和动态Hash 处理以 及Hash 函数设计场景化的策略，同时探讨了多核处理器与多线程设计之间的关系。实验数据证明改进的算法策略 具有支撑百万级特征集字符串匹配的能力。 关键词：大规模特征集；字符串匹配；短模式串；Hash 函数；多线程技术 文献标志码：A 中图分类号：TP301 doi ：10.3778/j.issn. 1002-8331.1203-0197 1 引言 出相应的应对方案，并进行试验论证。 面向大规模特征集的高性能字符串匹配技术研究 术语解释 对于网络信息安全系统具有重要意义，它是当前网络信 字符串：一个字符串是一个定义在有限字母表 Σ 息安全系统在应用于高速网络处理等问题的关键，也是 上的字符序列。例如 ，ATGCAC 是定义在字母表 Σ {A C T G} [2] 近年来国际上关注的热点和难点。一项基于国家互联 上的一个字符串 。