基于Spark的大规模网络流量准实时分类方法-中国科学院计算机网络.PDFVIP

科研信息化技术与应用 2 0 1 6 , 7 ( 2 ) : 2 5 – 3 4 TECHNOLOGY ·技术 / · 基于 Spark 的大规模网络流量准 实时分类方法 1,2 2 杨晨光 ，马永征 1. 中国科学院大学，北京 100049 2. 中国科学院计算机网络信息中心，北京 100190 摘 要：大数据时代催生了互联网流量的指数级增长，为了有效地管控网络资源，提高网络安全性，需要 对网络流量进行快速、准确的分类，这就对流量分类技术的实时性提出了更高的要求。目前，国 内外的网络流量分类研究大多是在单机环境下进行的，计算资源有限，难以应对高速网络中的 (准) 实时流量分类任务。本文在充分借鉴已有研究成果的基础上，吸收当前最新的思想和技术，基于 Spark 平台，有机结合其流处理框架 Spark Streaming 与机器学习算法库 MLlib ，提出一种大规模网 络流量准实时分类方法。实验结果表明，该方法在保证高分类准确率的同时，也具有很好的实时 分类能力，可以满足实际网络中流量分类任务的实时性需求。 关键词： Spark；流量分类；大规模；准实时；机器学习 doi: 10.11871/j.issn.1674-9480.2016.02.004 Quasi-realtime Classification Method for Large-Scale Network Traffic Based on Spark Yang Chenguang1, 2, Ma Yongzheng2 1. University of Chinese Academy of Sciences, Beijing 100049, China 2. Computer Network Information Center, Chinese Academy of Sciences, Beijing 100190, China Abstract: In big data era, the internet traffic presents an exponential growth. In order to effectively control network resources and improve network security, internet traffic should be classified quickly and accurately, which leads to a higher requirement for real time performance of the traffic classification technology. At present, the classification of network traffic were carried out in the stand-alone environment for most of researches, so the computing resources were too limited to 25 科研信息化技术与应用，2016, 7 (2) respond to real-time or quasi-realtime classification of internet traffic in the high-speed network. In this paper, with reference to the existing research results