基于多机的网络信息分析系统的研究与实现-计算机科学与技术专业论文.docxVIP

万方数据 万方数据 Classified Index: TP315 U.D.C: 621.3 Dissertation for the Master Degree in Engineering RESEARCH AND IMPLEMENTATION OF NETWORK INFORMATION ANALYSIS SYSTEM BASED ON MULTI-MACHINE Candidate： Liu Yongtao Supervisor： Prof. Fang Binxing Academic Degree Applied for： Master of Engineering Speciality： Computer Science and Technology Affiliation： School of Computer Science and Technology Date of Defence： June,2014 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工程硕士学位论文 哈尔滨工业大学工程硕士学位论文 摘 要 随着互联网的广泛应用，互联网上出现了大量的垃圾信息以及各种网络 攻击。要想营造一个健康和安全的网络环境，一个重要的手段就是对互联网 信息进行分析过滤。过滤垃圾信息和入侵检测采用经典的多模匹配算法，但 是多模式匹配问题又会给我们带来一个问题，就是算法要以牺牲空间来换取 时间，普通的服务器可能无法给分析系统提供足够的内存。本文提出了利用 多台机器来解决处理大规模模式时单台服务器无法工作的问题。 首先，本论文介绍了AC算法和WM算法的原理。AC算法利用了模式串 之间的相同前缀关系，每次失配时要近可能的跳转更远的距离。WM算法引 入了坏字符跳转的思想，采用了HASH 散列的技术来提高匹配的效率。另外， 设计AC和WM算法的接口，如数据传输接口、查询接口等，把AC和WM算法 运用到多机系统中去。 其次，论文提出了基于多机系统下模式串集的分割算法。在基于多机的 系统中，设计通信的协议和调用AC和WM算法的接口。设计基于多机的系统 下模式串集的分割算法，模式集分割算法是过滤系统设计中的重要部分。分 割算法影响整个系统内存的分配，又会影响系统的响应时间。 最后，论文给出了系统的功能和性能测试结果。对于功能测试，测试包 括系统分割模式集功能、系统的查询功能，从而验证了系统功能的正确性； 对于性能测试，测试本多机系统下和单台服务器下的查询时间。 关键词：多机；多模匹配；AC 算法；WM 算法 I - Abstract Along with the extensive application of the Internet, Internet is filled with a lot of spam as well as a variety of network attacks. The key of creating a healthy and safe network environment is to filter the Internet information. Multi -pattern matching algorithm is usually used to filter spam and detect attacks. But most multi-pattern matching algorithms spend a lot of memory to minimize time. The common server may not be able to provide filter system with enough memory. To solve the single server that can not work when dealing with large-scale patterns, the information filtering system based on multi-machine is proposed in this paper. Firstly, this paper explains the principle of AC algorithm and WM algorithm. With the same prefix relationship between pattern string, AC algorithm j umps farther distance when mismatching. WM algorithm introduces the ideas of b