基于迁移学习的日志异常检测方法-巩锟d.pdfVIP

ThenameoftheDepartment

BeijingForestStudio

部门名称

北京理工大学信息系统及安全对抗实验中心

基于迁移学习的日志异常检测方法

硕士研究生巩锟

2022年04月05日

内容提要

•背景简介

•基本概念

–日志解析

–日志异常检测

–迁移学习

•算法原理

–LogTransfer

–LogTAD

•应用总结

•参考文献

2

预期收获

•预期收获

–1.了解日志数据深度学习异常检测方法的发展

–2.了解迁移学习和领域自适应方法

–3.理解基于迁移学习的日志异常检测方法

–4.了解应用领域和发展方向等

3

背景简介

•关于日志的研究（AIOPS）

–日志

•记录系统运行状态的数据

–基于日志的研究

•日志收集

•日志解析

•日志挖掘

–异常检测

–故障分析

–用户行为分析

4

背景简介

•日志异常检测

–框架：日志解析模块→特征提取→分类器

–基于传统方法的异常检测

•统计特征

•基于关键词(DEBUG、INFO、WARN、ERROR)

•基于聚类的方法(少数的认为是异常）

–基于深度学习的异常检测

•监督学习：Hitanomaly(2020)

•半监督学习：PLELog（2021）

•无监督学习：DeepLog（2017）、LogAnomaly（2019）

•强化学习

–没有日志解析模块：Logsy(2020)、NeuralLog(2021)

5

基本概念

•日志解析

–对日志提取出固定的模板/模式以代表整个日志数据库

–常见解析算法

•Drain(基于树结构相似度）

•Spell（最长公共子序列）

•AEL（常数和变量的发生频率）

•IPLoM（迭代分区策略，根据消息

长度、令牌位置和映射关系等）

6

基本概念

•日志特点

–正负样本不平衡

–日志非结构化，且包含参数各不相同

–日志规范不统一，但数据域大致相同：主题、时间、内容、来源和标签

7

基本概念

•迁移学习（TransferLe