网络流量测量中的抽样算法分析-analysis of sampling algorithm in network traffic measurement.docxVIP

万方数据 万方数据 曲 阜 师 范 大 学 研 究 生 学 位 论 文 独 创 性 声 明 （根据学位论文类型相应地在“□”划“√”） 本人郑重声明：此处所提交的博士□/硕士□√ 论文《网络流量测量中的抽 样算法研究》，是本人在导师指导下，在曲阜师范大学攻读博士□/硕士□√ 学位 期间独立进行研究工作所取得的成果。论文中除注明部分外不包含他人已经 发表或撰写的研究成果。对本文的研究工作做出重要贡献的个人和集体，均 已在文中以明确的方式注明。本声明的法律结果将完全由本人承担。 作者签名： 日期： 曲 阜 师 范 大 学 研 究 生 学 位 论 文 使 用 授 权 书 （根据学位论文类型相应地在“□”划“√”） 《网络流量测量中的抽样算法研究》系本人在曲阜师范大学攻读博士□/ 硕士□√ 学位期间，在导师指导下完成的博士□/硕士□√ 学位论文。本论文的研 究成果归曲阜师范大学所有，本论文的研究内容不得以其他单位的名义发表。 本人完全了解曲阜师范大学关于保存、使用学位论文的规定，同意学校保留 并向有关部门送交论文的复印件和电子版本，允许论文被查阅和借阅。本人 授权曲阜师范大学，可以采用影印或其他复制手段保存论文，可以公开发表 论文的全部或部分内容。 作者签名： 日期： 导师签名： 日期： 摘要 摘要 摘 要 通过对流量的测量和运行状况的分析，网络测量为网络管理、性能提升和结构优化提 供参考依据。然而，由于高速互联网技术的迅速发展和大数据时代的到来，网络中的数据 呈现爆炸式增长，捕获每个报文信息或者流信息并进行存储和分析已变的不可能。将抽样 技术引入流量测量中能有效的解决该瓶颈问题，并且能大大减少测量数据，因此抽样技术 成为网络流量工程研究的重点内容之一。 本文系统全面地总结了网络流量测量理论，分析了在当前高速网络环境中测量遇到的 困难，指出抽样技术在网络测量中的重要作用。接着详细阐述了抽样技术的相关概念，讨 论了随机抽样、系统抽样和分层抽样等几种基本的抽样方法，分析比较了抽样测量中哈希 算法、概要数据结构等关键技术。最后，通过研究目前网络的特性，将抽样技术与结构简 单、查找匹配迅速的 Bloom filter（布鲁姆过滤器）相结合，提出了基于 LRU_CBF 的大流 检测算法和基于树形布鲁姆过滤器的流抽样算法。经性能分析和仿真实验证明，本文提出 的算法能够在提高测量准确性的同时，提高系统的资源利用率。具体研究内容如下： （1）本文在系统研究了标准型、计数型、拆分型等 Bloom filter 特点的基础上，将性 能优越的计数型 Bloom Filter 与操作系统中经典的页面置换算法 LRU（最近最久未使用） 策略相结合设计出一种大流检测算法。该算法使用两层结构，LRU 先将大流过滤出来，CBF 进一步对大流进行判断，使“大流过滤”与“大流判断”两个过程分离开。这样可以简化 数据的存储结构，降低空间复杂度，精确检测大流，提高准确性。通过仿真实验，将本文 提出的基于 LRU_CBF 的大流检测算法与两层 CBF 算法进行准确性方面的对比得知，本文 提出的算法具有更高的准确性和更好的资源利用率。 （2）网络规模的不断扩张使得网络流量的特征变得异常复杂，单层次的数据结构不 能满足网络测量的要求。本文针对目前标准 BF 算法在流量过大时会造成计数器溢出的缺 陷，设计了一种多层次结构的树形布鲁姆过滤器。改进过滤器的每一层都是一个标准 BF， 将其中置 1 的比特位映射出叶子节点，逐层映射后形成树形的多层次过滤器。当流量较大 时增加新的 BF，防止 BF 溢出造成测量误差。将树形 BF 与基于报文的流抽样算法相结合， 应用到实际的网络流量测量中，可以在减少测量个数的同时提高测量精度。通过仿真对该 算法与基于其他 Bloom filter 的抽样算法进行了测量误差方面的比较，分析可知，本文提出 的算法提高了抽样的准确性，降低了空间利用率。 关键词：流量测量，抽样，最近最久未使用，计数型布鲁姆过滤器，树形布鲁姆过滤器 I Ab Abstract 万方数据 万方数据 Abstract By measuring the traffic and analyzing the operating conditions, network measurement provides a reference for