一种基于云计算的并行流生成方法一种基于云计算的并行流生.pdfVIP

第39 卷 第10 期 计 算 机 工 程 2013 年10 月 Computer Engineering October 2013 Vol.39 No.10 文献标识码文献标识码：：A 文献标识码文献标识码：： 中图分类号中图分类号：：TP393.02 文章编号文章编号：：1000——3428(2013)10——0010——04 中图分类号中图分类号：： ·云计算专题·云计算专题·· 文章编号文章编号：： —— —— —— ··云计算专题云计算专题·· 一种基于云计一种基于云计算的并行流生成方法算的并行流生成方法 一种基于云计一种基于云计算的并行流生成方法算的并行流生成方法 孙韩林孙韩林 孙韩林孙韩林 (西安邮电大学计算机学院，西安 710121) 摘摘 要：要：在高速网络中，网络设备的分组转发性能在打开流采集功能后会受其影响。为此，提出一种在网络设备外基于云计算平 摘摘 要要：： 台的并行流生成方法。在需要监测的网络设备附近部署小型云，把分组流量复制到云中，采用云的Map-Reduce 并行处理框架快速 地从海量分组数据中生成流记录。设计基于Map-Reduce 框架的并行流生成算法，通过配置合适数量的云节点，可分析任意大小的 网络流量。用实际网络分组数据对并行流生成方法的性能进行验证，实验结果表明，在由3 台、5 台或7 台节点构成的小型云平台 上，从超过40 GB 的文本分组数据中共提取了15 160 052 条流，与顺序处理相比，耗费时间至少可减小85%、90%和94%。 关键词关键词：网络流量分析： ；并行处理；Map-Reduce 框架；Hadoop 平台 关键词关键词：： A Parallel Flow Generating Approach Based on Cloud Computing SUN Han-lin (School of Computer Science and Technology, Xi’an University of Posts and Telecommunications, Xi’an 710121, China) 【【Abstract 】】In high speed networks, the f