基于多核网络处理器的流重组分析-analysis of stream reassembly based on multi-core network processor.docxVIP

目录摘要iABSTRACTii第一章绪论11.1课题背景11.1.1深度报文检测11.1.2数据流重组31.1.2数据流重组41.2课题主要研究工作41.3本文组织结构5第二章流重组概述72.1技术基础7TCP/IP协议7TCP会话重组原理82.2相关研究122.2.1基于通用计算机132.2.2基于专用硬件132.3高带宽环境下的流重组142.3.1高带宽环境带来的问题142.3.2高速流重组方案152.3.3面临的挑战152.4本章小结19第三章基于多核网络处理器的流重组203.1多核网络处理器203.1.1发展情况203.1.2技术特性203.2系统分析213.2.1需求分析223.2.2设计原则233.3基于多核网络处理器的流重组系统总体设计233.3.1硬件架构233.3.2线程划分24第I页3.3.3流重组设计与实现253.4本章小结32第四章基于多核网络处理器的流重组关键技术334.1流表分配334.2无锁超时334.3多通道虚拟队列354.3.1相关研究354.3.2设计与实现364.4本章小结41第五章流重组卡存储空间分析和性能测试425.1存储空间分析425.1.1实验方案425.1.2实验结果及分析435.2性能测试445.2.1流重组卡规格445.2.2测试环境455.2.3数据包捕获性能测试455.2.4TCP流重组性能测试475.3本章小结48结束语49致谢50参考文献51作者在学期间取得的学术成果55表目录表3.1TCB节点数据结构29表3.2报文描述信息数据结构30表4.1structphnx_rx_desc数据结构37表4.2phnx_rx_dma_node_t数据结构38表4.3structphnx_tx_desc数据结构38表4.4phnx_tx_dma_node_t数据结构38表4.5structdma_info_struct数据结构39表5.1不同超时值的情况下每Mbps流量中流的个数43表5.2不同超时值和上传数据块大小的情况下每Mbps流量所需的内存大小...43表5.3数据包捕获能力测试结果46表5.4TCP流重组测试结果47第III页图目录图2.1TCP/IP协议分层模型7图2.2TCP报文格式9图2.3TCP连接建立示意图10图2.4TCP连接关闭示意图12图2.5并行流重组方案模型12图3.1基于多核网络处理器的流重组系统总体硬件架构框图24图3.2流重组设计结构框图27图3.3流表结构图27图3.4流重组流程框图32图4.1多通道虚拟队列技术示意图37图4.2收包步骤图40图4.3发包步骤图41图5.1SRC测试环境拓扑45第IV页摘要深度报文检测是网络入侵检测系统及网络取证系统的重要组成部分，而会话流重组则是实现深度报文检测的基础和前提。在实现流重组的过程中，网络数据报文需要进行大量的块存储区之间的移动，由此带来“内存墙”问题将严重影响流重组的速度。为解决这个性能瓶颈，许多研究人员采用多核并行处理的架构来提高流重组系统性能，但这种方式存在争抢共享资源、网络数据的捕获和负载均衡等新问题。为了提升高带宽环境下的流重组性能，本文针对如何在多核网络处理器平台实现流重组加速进行了深入研究，主要的成果有：1.提出了一种基于多核NPU进行流重组的架构，这种架构充分利用多核NPU的性能特色。通过引入一级NPU存储器作为缓存，在传输的过程进行实际报文的排序，提高系统的整体性能。2.提出了一个具有空间节约特性的TCP流重组机制。NPU每收到一个报文，都进行解析并丢弃所有协议首部，并在报文payload后添加一个特定大小的描述信息，在对报文进行流重组排序时，CPU只需要缓冲处理该描述信息而不需要缓冲payload，可大幅降低缓存消耗。3.提出了基于多核NPU流重组的三项关键技术：流表分配、无锁超时和多通道虚拟队列。4.设计实现了一块基于多核NPU的流重组卡。通过仿真分析了流重组卡存储空间需求与网络流量大小之间的关系，验证了本文方案的可行性。经试验表明，该流重组卡处理TCP报文的性能可达到3Gbps，是基于服务器的传统流重组软件性能的三倍。主题词：流管理；多核网络处理器；TCP流重组第i页ABSTRACTStreamReassemblyisanimportantpartforDeepPacketInspection,whichisanelementofNetworkIntrusionDetectionSystemsandNetworkForensicSystem.However,ithasaseriousmemorywallproblembecauseitneedstomovepacketpayloadfromoneblockofmemorytoanother.Tobreakupthisbot