网络流量分类与应用识别研究.docVIP

网络流量分类与应用识别研究 　　摘要： 首先介绍了网络流量分析的不同层次及机器学习领域的相关知识，分析了采用端口号映射及有效负载分析的方法进行流量分类与应用识别存在的问题；然后从网络流量的统计特征出发，重点介绍了机器学习中聚类和分类的方法在流量分类的应用和问题；最后基于聚类和分类在流量分类中的效用，指出了未来的研究趋势。 　　关键词：流量分类；应用识别；机器学习；无监督聚类；有监督分类 　　中图分类号：TP393．07文献标志码：A 　　文章编号：1001-3695(2008)05-1492-04 　　 　　目前，基于TCP/IP技术的Internet正向纵深方向发展。一方面，新一代的基础设施已经或正在部署，新的技术不断发展，新的应用模式和应用需求不断涌现；另一方面，Internet也在其飞速发展的过程中，向人们提出了一系列挑战，其中的关键问题在于：如何更好地提供服务质量保证，如何来避免异常流量对网络的影响。 　　与Internet的飞速发展相比，对网络行为的研究比较少。与一般的自然系统相比，Internet不仅具有多变、异质、动态等特点，还具有很强的社会性。广大用户的行为对于Internet具有重要影响。如何认识这样一个系统的统计特性和动力学性质，认识Internet使用者的行为特征，正日益引起人们的兴趣。另一方面，对Internet及其用户行为的研究，也是网络的规划、设计和管理的重要依据。网络一直处在持续的发展变化过程中，Internet 中存在大量的应用，每个应用都有自己的流量行为特征并且新的应用还在不断涌现。如何对这些流量进行分类并识别新的应用是一个值得研究的问题。另外， Internet的飞速发展以及社会对其依赖的加深，对网络管理也提出了更高的要求。政府、工业部门和私人用户使用网络的各种应用，每天都会产生成千上万的网络应用流，具有恶意的攻击很容易在海量的网络流量中隐藏自己，从而达到攻击的目的。因此，如何给广大Internet使用者提供一个安全、可靠和高效的使用环境，如何发现并避免网络的异常流量，是网络管理需要解决的?┪侍狻＊? 　　为解决上述问题，网络流量分析应运而生[1]。几乎所有与网络相关的活动都是与网络流量联系在一起的。网络流量是记录和反映网络及其用户活动的重要载体。网络流量的行为是网络行为的重要组成部分，通过对网络流量的统计分析，人们可以间接掌握网络的统计行为。?? 　　随着网络中各种应用的不断出现，除了传统的HTTP、E－mail、Web、FTP等应用外，目前P2P的应用占有统治地位。因此对网络流量进行分类并识别应用将是一项很有意义的工作，它有助于趋势分析、动态访问控制。并且识别不同应用类型的流量也是网络安全和流量工程的重要依据。不同应用类型的网络流量的统计，反映了用户使用网络的行为，从而帮助网络管理员在必要的时候控制用户的流量。并且对流量进行分类也是发现入侵或恶意攻击的重要方法，同时可以识别影响网络资源分布的新应用的出现。?? 　　 　　1流量分析的层次及相关算法?? 　　 　　1．1不同层面的流量分析?? 　　目前对网络流量分析的研究，主要在以下几个不同的粒度或者说层面上展开[1，2]：?? 　　a）Bit－level 的流量分析?? 　　主要关注网络流量的数量特征，如网络线路的传输速率以及吞吐率的变化等。?? 　　b）Packet－level的流量分析?? 　　主要关注IP包(packet)的到达过程、延迟和丢包率等。C. Fraleigh等人[3]采用被动的监控系统捕获packet－level的流量，研究骨干网在流量负载、TCP流的双向传送时间、包的无序比率和包的延迟等方面的变化。 　　c）Flow－level 的流量分析?? 　　Flow是一个相对较为宽松的定义，其划分的主要依据是地址和应用协议。例如，C. Barakat等人[4]给出的定义是一个由源 IP 地址和端口、目标 IP 地址和端口以及应用协议组成的五元组（源 IP 地址、源端口、目标 IP 地址、目标端口、应用协议）。这方面的研究主要关注 Flow的到达过程、达到间隔以及其局部特性。?? 　　d）Stream－level 的流量分析?? 　　文献[2]给出 stream 的定义是一个由源、目标 IP 地址以及应用协议组成的三元组（源 IP 地址、目标 IP 地址、应用协议）。其目的主要是在一个更粗的粒度上研究主干网的长期流量统计特性。?? 　　上述四个层面的研究，流量的粒度由小到大递增，所关注的时间尺度也逐渐增大。在不同时间尺度上，网络流量往往表现出不同的行为规律。例如，有研究指出：毫秒级的细时间粒度的网络流量行为主要受网络协议的影响；小时以上的粗时间粒度的网络流量行为主要受外界因素的影