基于智能网卡实现TCP会话数据采集平台.docVIP

基于智能网卡实现TCP会话数据采集平台 　　【 摘 要 】 很多网络数据分析系统需要实时采集TCP会话数据，随着网络带宽的快速增长，基于通用网卡和软件协议栈实现的数据采集平台，用于TCP会话管理和数据传输的开销越来越大，已经成为整个数据分析系统整体性能的瓶颈。为了有效提升系统性能，本文描述了一种基于智能网卡实现的TCP会话数据的采集平台。实验表明，使用该数据采集平台后，网络数据分析系统的性能可以大幅提升。 【 关键词 】 智能网卡；TCP会话；数据采集 1 引言 很多对网络数据进行分析的入侵检测、内容审计等系统，都需要实时获取网络中的TCP会话数据。传统的TCP数据采集平台，都是基于通用网卡捕获报文，通过软件协议栈进行TCP会话管理和报文数据传输。在高速网络上，数据采集平台会给整个系统带来庞大开销，研究证明，数据采集平台开销主要分为两个方面：由主机中断和网络数据的拷贝造成的数据传输开销、TCP连接管理为主要内的的协议处理开销。在一般的网络数据处理系统中，主机CPU的每个时钟周期，最多可以处理1个bit的网络数据。然而，近几年来，网络带宽的增长速度远远超过了CPU主频的增长速度，数据采集平台对主机资源的占用越来越多，已经成为整个数据分析系统的性能瓶颈。 为了分担CPU对TCP/IP协议栈的处理，减轻主机系统的压力，出现了一种称为TCP协议卸载引擎（TCP Offload Engine ： TOE）的技术。该技术可以把原来由TCP/IP协议的处理过程放到网卡芯片的硬件上完成，减少主机CPU的协议处理工作量，提高数据采集系统的效率，从而提升整个主机系统的性能。本文基于曙光公司针对网络数据分析应用，对传统的TOE技术进行改进和扩展，研发的FPGA（Field Programmable Gate Array）智能网卡，研发了应用开发套件和TCP数据采集平台。在该平台中，网卡硬件提供了报文分类、TCP会话管理等功能，应用开发套件通过和硬件协同工作，可以为上层数据分析应用提供原始报文、TCP数据的采集接口、提供对报文和TCP会话的分类处理接口。实验证明，在高速网络上，采用该数据采集平台，可以有效提高数据分析系统处理网络数据的性能，大幅降低主机系统的CPU负载。 2 数据采集平台的设计 2.1 整体架构 数据采集平台的整体架构如图1所示。 底层硬件是基于FPGA专用芯片实现的智能网卡，智能网卡实现了报文数据的高速收发功能，可以把报文数据直接传送到主机的每个CPU核心上。智能网卡还实现了根据报文五元组（报文的源IP、目的IP、源端口、目的端口）对报文进行分类处理的功能，可以根据配置，对特定的报文采取丢弃、转发等动作。智能网卡还实现了TCP会话管理的功能，在网卡上维护TCP会话表，并对TCP会话中产生了乱序的数据进行重新排序。因为在不同的应用场景下，智能网卡的功能需求可能不同，所以智能网卡还具备在线重构升级逻辑的功能。 内核空间软件是智能网卡的驱动模块，驱动模块的作用是为智能网卡的数据收发分配报文缓冲区资源，在硬件和开发套件之间传递控制信息，并监控智能网卡硬件的运行状态。 用户空间软件应用业务软件、管理工具软件和应用开发套件组成，应用开发套件是数据采集平台的核心，是由一系列API接口构成的接口库，API接口库的接口与智能网卡的功能模块相对应，为上层应用业务提供开发接口，包括报文收发接口、五元组过滤接口、TCP会话管理接口。 2.2 智能网卡设计 智能网卡的整体架构如图2所示。 包头提取模块是接收网络数据报文的模块。从网络接口收到的IP包到达包头提取模块后，包头提取模块根据配置，将IP包头中的五元组、协议、报文长度、各层协议头指针等信息，提取出来，传递给后继的报文分类模块。 报文分类主要是用报文的五元组信息，到应用业务配置下来的分类规则中去查找匹配，如果一个报文的五元组匹配了用户设定的某一条规则，就根据该规则的要求对数据包进行分类处理，执行不同的动作，智能网卡可以支持的报文动作包括直接丢弃、上传主机、转发等。 如果一个数据报文经过分类后，确定是要继续处理的TCP报文，则包头信息进入TCP流的会话管理和乱序报文重排序模块。 由于TCP协议要求根据会话状态处理每个数据包，因此该模块需要维护一个TCP会话状态表，保存每个TCP会话的建立、传输、关闭状态，对需要采集TCP会话数据的应用业务，智能网卡硬件中的TCP会话管理模块，可以过滤掉很多软件不关心的无用流量，从而减轻软件分析报文的工作量。 网络中的TCP数据经过底层协议封装，在以报文为单位传输的过程中，由于路由的不同、网络设备故障或其他原因，属于同一个TCP连接的报文到达目的地的顺序可能会与发送端发出时