Libnids在商用多核系统上的并行化详细设计说明书参考.doc

Libnids在商用多核系统上的并行化 详细设计说明书V1.0 小组名称：Casual 指导教师：郭燕 文档撰写人：柴泉 文档撰写时间：2013.5.17 团队分工记录表 名称 中文 Libnids在商用多核系统上的并行化 英文 The Libnids parallelized on commercial multicore systems 项目组成员名单 姓名 学号 项目中的分工 签 章 张悦 SA CPU与线程的绑定，内存预分配 柴泉 SG Tcpreply获取数据包，文档, 并行后程序性能测试 李曦 SA 源码分析，并行后程序性能测试 刘宇 SA hash负载均衡，oprofile工具查找程序瓶颈 冯铮 SA 无锁队列实现，多线程实现并行，全局变量本地化 目录 1．引言 3 1.1编写目的 3 1.2项目背景 3 1.3定义 3 1.4参考资料 4 2．总体设计 5 2.1需求概述 5 2.2软件结构 5 3．功能实现说明 6 3.1多核包处理平台实现 6 3.2.1 单片多处理体结构 6 3.2.2 PTHREAD应用框架 6 3.2并发无锁队列（FIFO） 7 3.3子线程创建及功能绑定 12 3.4 Hash算法选择 13 3.5全局变量的局部化 15 3.6接口 16 3.7测试要点 17 1．引言 1.1编写目的 基于多核系统的广泛普及，现在的企业把越来越多的目光投入到并行程序的开发。基于语法和语义对于应用程序的分析，成为解析网络数据包的重要手段和要求。但是，应用现在的分析数据包技术期望满足现在的高速网络(10Gbps+)是很困难的。 我们面临的困难很多，下面列出其中几项。第一，现在的网速很快，硬件用以支持频繁的通信和同步的需求已经赶不上网络速度的提高速度了；第二，现存的顺序应用分析技术几乎不可能进行复用。在工程实践的阶段，我们将基于多核平台，提出一个尽可能高效并且通用的并行应用协议的分析器。为了实现在多核体系上的流水线技术，需要评估不同并行处理核之间的权衡取舍，包括不同处理核之间的负载均衡和数据局域性之间的取舍，以及通用加减锁机制和特定不加锁数据结构的取舍。基于多核体系的高效率网络应用程序的解析的实现依赖于以下几个方面：连接亲和性和无锁设计原则。它们的使用使得在数据局域性和核-核之间的快速通信和同步之间找到一个最佳的均衡点；基于以上的并行技术的使用。我们的分析速度可以提高很多倍，例如，对于一般的HTTP数据包的分析可以达到20Gdps，而且，就算是很小的FIX数据包，它的分析速度可以达到5Gbps的水平。 1.2项目背景 名称：网络应用在商用多核体系上的并行化 项目开发者：张悦，柴泉，李曦，刘宇Intrusion Detection System CLF： concurrent-lock-free [1] Daniel P.Bovet. Understanding the linux kernel[M].中国电力出版社, 2009.07. [2] W.Richard Stevens. Unix网络环境编程卷一..套接字API[M]. 人民邮电出版社, 2011.5. [3] W.Richard Stevens. Unix网络环境编程卷二..进程间通信[M]. 人民邮电出版社, 2011.11. [4] W.Richard Stevens. Unix环境高级编程[M]. 人民邮电出版社. 2011.11. [5] 刘文涛. 网络安全开发包详解[M]. 机械工业出版社. 2008.06. [6] Junchang Wang, Haipeng Cheng, Bei Hua. Practice of Parallelizing Network Applications on Multi-core Architectures. ICS.2009 [7] Kai Zhang, Junchang Wang, Bei Hua, Xinan Tang. Building High-performance Application Protocol Parsers on Multi-core Architectures. IEEE[J]. 2010. [8] Robin Sommer, Vern Paxson, Nicholas Weaver. An architecture for exploiting multi-core processors to parallelize network intrusion prevention Journal: Concurrency and Computation: Practice and Experience - CONCURRENCY ,