网络数据流分段存储模型的研究和实现.pdfVIP

·五彩· 全国网络与信息安全技术研讨会’8007 网络数据流分段存储模型的研究与实现 吴广君1，云晓春1，余翔湛1，王树鹏1 (1．哈尔滨工业大学，计算机网络信息安全研究中心黑龙江哈尔滨150001) 摘要： 针对网络数据流存储面临的瓶颈问题，提出了同时保持时序性和属主性的网络数据流分段存储 模型。本模型在内存中采用基于弱时序性的高速缓存数据结构，提高了网络数据流实时存储的效率；在磁盘 中采用了基于多级索引结构的数据流生成树结构，提高了基于时序性和属主性的检索效率。试验结果表明。 本模型显著提高了网络数据流的实时存储能力，有效降低了索引数据的信息量。 关键词； 网络数据流；网络数据流存储；网络数据流生成树；多级索引 I Researchand on mplementSegmenting ModeIOfNetflow Storage Wu xiaochunl，Yu guangjunl，Yun shupen91 xiangzhanl，Wang Institute (1．Harbin ofTeclmology,Harbin150901) Abstract：Thereare bottleneck inthe ofnetflow．Anewmodelwas tomaintain many problemsstorage proposed and ofnetflow．Thismodel weak datastructurein to sequence high ownership adoptedsequence-basedspeed memory realtime thedisclevelamulti-levelindexdatanetflow treewas to improve ability．In storage spanning proposedimprove and retrieval ofevaluationthatthe modelofnetflowCall efficiency．The sequenceownership performance exposes storage real-time anddecreasethe ofindexdata improve storageability quantities dramatically． index keywords：netflow；netflowstorage；netflowspanningtree；multi-level 1引言 网络数据流是由有序的字节流组成，字节流以报文为基本单位在网络中进行传输，并且报文之间通 常具有一定的状态联系和制约关系。关于网络数据流，目前尚无统一的定义，但是相关的研究工作早已 经开始，大体上可以把网络数据流的研究分为两个方向：面向宏观的网络数据采样和面向微观的网络数 据的存储。数据流采样是通过定期采集网络数据流，提取网络报文报头的特征，实现对于网络状态的分 的方式提高Netflow的精确度。但是由于网络数据流的采样时间粒度的限制，会错误的把几个不同的TCP 连接聚集到一个Netflow中，出现采样记录的连接数少于实际的TCP连接数的情况[4]。网络数据存储主