基于协同训练及数据融合技术的网络异常流量检测.docx

??

?

??

基于协同训练及数据融合技术的网络异常流量检测

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

黄翊翔

摘要：随着网络技术的发展，网络安全问题日益严峻。通过网络行为特征所建立的分类模型能够很好地发现海量数据中潜在的异常行为，然而巨大的网络流量数据中往往存在着大量多领域异构信息，如何有效地将各类信息特征融合在一起对于提高模型检测准确率起着至关重要的作用；除此之外，在网络异常检测领域，已被标记为异常的IP地址数量稀少，也导致在有监督学习过程中严重缺乏训练数据。该文介绍了一种基于协同训练分类模型及数据融合技术的网络异常流量检测方法，并通过真实数据的实验对模型进行了验证，结论表示在保证了模型检测准确率的前提下，该模型同时解决了训练数据的稀缺问题。

关键词：网络安全；网络异常检测；标记数据缺失；半监督学习；数据融合；协同训练

中图分类号：TP393文献标识码：A文章编号：1009-3044（2017）33-0081-02

Abstract：Withthedevelopmentofnetworktechnology，networksecurityhasarisedasoneofthemostseriousproblems.Classificationmethodsbasedonnetworkbehaviorfeaturesalwayshavegoodperformance，however，infaceofthemulti-domaininformationofnetworktrafficdata，itsimportanttofusethemtogetherefficiently.Besides，itshardtotrainapropermodelduetothelackoflabeledabnormalIPaddresses.ThispaperintroducesananomalydetectionmodelbasedonCo-Traininganddatafusionmethod.Throughexperimentsonrealdata，theresultsprovethatthismethodwellsolvethelackofgroundtruthunderthepremiseofensuringdetectingaccuracy.

Keywords：networksecurity；networkanomalydetection；groundtruthscarcity；semi-supervisedlearning；datafusion；co-training

1背景

網络恶意攻击行为是信息时代的网络安全所面临的重要问题之一，其中包括了如发送垃圾邮件、端口扫描、僵尸网络[1]以及DDoS攻击等恶意攻击行为，而这些恶意行为往往会给网络用户及企业等带来严重的损失。以往的研究结果表明，网络中的任何恶意行为都会伴随着一系列的显著的或者隐性的异常特征模式[2]，例如，当网络流量数据中存在某些源IP地址在较短时间内有规律地发送了大量的网络请求，那么它极有可能属于某个僵尸网络。通过分析这些异常行为，并为其建立合适的特征分布模型，可以有效地从海量网络流量数据中检测出行为异常的IP地址。然而由于网络流量数据的复杂性，导致模型的建立与分析面临很多问题。

巨大的网络数据中往往包含了多领域的信息，如HTTP流量，TCP流量以及DNS流量数据等，它们源自于不同的通讯协议，在行为模式上存在着一定的共性与关联，可也包含了不同的信息。在以往的研究中，研究人员大多是针对其中某个领域的数据进行建模分析，或者是将不同领域的数据特征直接合并在一起训练分类模型，然而这样非但不能有效结合多领域信息，由于不同种类的数据特征间通常不是简单的线性关系，直接结合反而会引入不必要的噪音，降低模型的准确率，而只选择单一领域的方法也会损失掉数据中的关联信息，导致模型无法发现很多潜在的异常行为。除此之外，由于已被标记的网络异常IP地址数量有限，很多大型网络安全企业如赛门铁克等对自己的网络黑名单也进行严格保密，因此在该领域的研究中，训练数据的稀缺一直困扰着研究人员，缺少训练数据不仅会导致模型准确率降低，也增加了模型的验证难度。

为了解决上述问题，提出了一种基于协同训练模型及数据融合技术的网络异常流量检测方法，该方法是一种半监督学习算法[3]，不仅能够通过数据融合技术有效结合多领域异构行为信息[4]，而且在面对只有少量的