基于Transformer的网络流量预测研究.pdfVIP

信息技术XINXIJISHU2024年第4期

基于Transformer的网络流量预测研究

田爱宝，魏娇娇，肖军弼？

（1.中国石油大学（华东）信息化建设处，山东青岛266580；

2.中国石油大学（华东）计算机科学与技术学院，山东青岛266580）

摘要：网络流量预测是网络流量分析领域中函待解决的关键任务之一。现基于机器学习的预测方

法大多忽略了流量的长相关性，并且处理大量数据时耗时长。针对以上问题,文中将Transformer用

于网络流量预测，通过多头注意力机制捕获流量的远程序列关系，学习流量的全局依赖关系。实验结

果表明，该方法可以提高预测精度，并能有效降低训练时间。

关键词：流量预测；Transformer；深度学习；注意力机制；特征提取

中图分类号：TP393文献标识码：A

D0I:10.13274/ki.hdzj.2024.04.025

ResearchonnetworktrafficpredictionbasedonTransformer

TIANAi-bao,WEIJiao-jiao°,XIAOJun-bi?

(1.InformationConstructionDepartment,ChinaUniversityofPetroleum,Qingdao266580,ShandongProv-

ince,China;2.CollegeofComputerScienceandTechnology,ChinaUniversityofPetroleum,Qingdao

266580,ShandongProvince,China)

Abstract:Networktrafficpredictionisoneofthekeytaskstobesolvedurgentlyinthefieldofnetworktraf-

ficanalysis.Mostofthecurrentpredictionmethodsbasedonmachinelearningignorethelongcorrelationof

trafficandtakealongtimetoprocesslargeamountsofdata.Inresponsetotheaboveproblems,thestudy

usesTransformerfornetworktrafficprediction,capturesthelong-rangesequencerelationshipoftraffic

throughamulti-headattentionmechanism,andlearnstheglobaldependencyoftraffic.Theexperimentre-

sultsshowthatthismethodcanimprovethepredictionaccuracyandeffectivelyreducethetrainingtime.

Keywords:trafficprediction;Transformer;DeepLearning;attentionmechanism;featureextraction

0引言过遗传算法优化SVM算法，使用优化后的算法对

随着互联网的快速发展、网络规模的不断扩流量进行预测,实验结果证明该方法的整体性能

大，网络的复杂性在不断增强,通常会呈现出长相

关性、自相似性、突发性、非线性等复杂特征。流量数据分解为若干IMF分量，然后利用K-

传统的线性回归预测方法难以准确刻画出网络流means算法对IMF分量进行聚类分析,并通过实

量的诸多特性[2},许多研究者开始将机器学习算

法应用于网络流量预测研究[3-5]。例如，熊凡提小波变换和极限学习机