基于多源异构日志的安全事件分析技术研究及应用.pdf

摘要

随着网络安全意识的增强，社会对网络安全防护投入逐年增加，入侵检测与蜜

罐等网络安全探测设备被广泛应用，网络安全环境发生了重大变革，系统安全性能

得到显著提升。

然而，网络安全监控任务仍面临诸多挑战。首先，检测特征难以提取。广泛使

用的加密流量使得以流量特征为检测基础的网络安全探测设备侦测网络攻击的能

力受到限制，传统日志检测方法也存在信息丢失等问题。其次，安全检测效率较低。

传统方法中，安全维护任务需要维护人员凭借领域经验排查告警消息，而大型网络

检测系统产生告警消息数量巨大，严重影响了安全目标实现。针对这些问题，本文

提出运用日志分析技术执行安全检查的模型和策略，重点研究以下三方面内容。

首先，针对安全探测设备获取特征的难题，通过分析系统日志特性，在获取日

志语义基础上，提出通过系统对象获得的日志全局语义的安全检测方式，有效降低

了系统日志模板变化、传统方法语义抽取片面对安全检测的影响。

其次，针对检测系统存在的重复检测与告警数据量大的问题，通过研究网络安

全攻击行为，研究各类安全探测设备生成的安全告警消息特征，提出不基于特定特

征计算告警相似度方法。在此基础上，基于时间间隔划分攻击行为，进一步提出了

超告警元消息提取方法，大幅降低了分析师的工作负荷。

最后，针对告警消息对网络攻击行为意图表达有限的问题，通过分析告警消息

与攻击行为的相关性，扩充了告警消息框架，结合攻击模型和基于告警消息构建攻

击图方法生成攻击图，描述攻击行为意图。

通过使用公开数据集的实验验证，本文提出的方法取得了良好的效果。在此基

础上，针对某孪生监控平台存在的告警疲劳问题，本文设计并实现了告警处理模块。

实践证明，该模块在提高分析师工作效率方面能发挥积极作用。

关键词：日志处理，多源异构日志，日志异常，告警疲劳

ABSTRACT

Withthestrengtheningofawarenessaboutnetworksecurity,therehasbeenan

annualincreaseininvestmentinnetworksecurityprotectionbysociety.Networksecurity

detectiondevicessuchasintrusiondetectionandhoneypotsarewidelyused,resultingin

significantchangesinthenetworksecurityenvironmentandnoticeableimprovementsin

systemsecurityperformance.

However,networksecuritymonitoringtasksstillfacenumerouschallenges.Firstly,

itisdifficulttoextractdetectionfeatures.Thewidespreaduseofencryptedtrafficrestricts

theabilityofnetworksecuritydetectiondevicesthatrelyontrafficcharacteristicsfor

identifyingnetworkattacks.Traditionallogdetectionmethodsalsosufferfromissueslike

informationloss.Secondly,securitydetectionefficiencyislow.Intraditionalapproaches,

maintenancepersonnelneedtomanuallyinvestigatealarmmessagesbasedontheir

domainexpertise.Withtheenormousnumberofalarmmessagesgeneratedbylarge-scale

networkdetectionsystems,thisseriouslyaffectsthe