一种基于注意力机制的BERT-CNN-GRU检测方法.pdfVIP

研究论文第51卷第1期/2025年1月/计算机工程

一种基于注意力机制的BERT-CNN-GRU检测方法

郑雅洲1，刘万平1*，黄东²

（1.重庆理工大学计算机科学与工程学院，重庆400054；2.贵州大学现代制造技术教育部重点实验室，贵州贵阳550025）

摘要：针对现有检测方法对短域名检测性能普遍较差的问题，提出一种BERT-CNN-GRU结合注意力机制的

检测方法。通过BERT提取域名的有效特征和字符间组成逻辑，根据并行的融合简化注意力的卷积神经网络

(CNN)和基于多头注意力机制的门控循环单元(GRU)提取域名深度特征。CNN使用n-gram排布的方式提取不

同层次的域名信息，并采用批标准化(BN)对卷积结果进行优化。GRU能够更好地获取前后域名的组成差异，多

头注意力机制在捕获域名内部的组成关系方面表现出色。将并行检测网络输出的结果进行拼接，最大限度地发

挥两种网络的优势，并采用局部损失函数聚焦域名分类问题，提高分类性能。实验结果表明，该方法在二分类上

达到了最优效果，在短域名多分类数据集上15分类的加权F1值达到了86.21%，比BiLSTM-Seq-Attention模型

提高了0.88百分点，在UMUDGA数据集上50分类的加权F1值达到了85.51%，比BiLSTM-Seq-Attention模型

提高了0.45百分点。此外，该模型对变体域名和单词域名生成算法(DGA)检测性能较好，具有处理域名数据分

布不平衡的能力和更广泛的检测能力。

关键词：恶意短域名；BERT预训练；批标准化；注意力机制；门控循环单元；并行卷积神经网络

中图分类号：TP309.5文献标志码：AD0I:10.19678/j.issn.1000-3428.0068479

ABERT-CNN-GRUDetectionMethodBasedonAttentionMechanism

ZHENGYazhou,LIUWanping*,HUANGDong

(1.CollegeofComputerScienceandEngineering,ChongqingUniversityofTechnology,Chongqing400054,China;

2.KeyLaboratoryofAdvancedManufacturingTechnologyoftheMinistryofEducation,GuizhouUniversity,Guiyang550025,Guizhou,China)

[Abstract)Toaddressthepoordetectionperformanceofexistingmethodsonshortdomainnames,adetection

approachcombiningBERT-CNN-GRUwithanattentionmechanismisproposed.Initially,BERTisemployedto

extracttheeffectivefeaturesandintercharactercompositionlogicofdomainnames.Subsequently,aparallelfusion

simplifyingtheattentionConvolutionalNeuralNetwork(CNN)andGatedRecurrentUnit(GRU)basedonthe

multiheadattentionmechanismisusedtoextractthedeepfeaturesofthedomainname.ACNNorganizedinann-

gramarrangementcanextractdomainnameinformationatdifferentlevels.BatchNormalization(BN)isappliedto

optimizetheconvolution