基于设备日志的异构网络问题发现及预警方法.pdfVIP

电信工程技术与标准化 运 营 与 维 护 基于设备日志的异构网络问题发现及预警方法 1 1 2 2 杨天昊 ，李大伟 ，梁童 ，吴伟嘉 (1 中国移动通信集团有限公司，北京 100032；2 中国移动通信集团设计院有限公司， 北京 100080） 摘 要 本文主要研究在NFV场景下应对接入种类繁多的日志，基于预警规则的日志问题发现及预警方法。具体方法为基 于全量日志正文数据，对细分网元的日志量进行统计，得到网元日志量监测数据和日志正文表达式监测数据，结 合自动化处理与AI算法初步生成问题发现规则集和历史预警数据集，引入时间序列异常检测算法，提升问题预 警的智能化水平，进一步对自动生成的规则通过专家经验进行确认，得到有效的规则集合。经过验证，采用以上 方法在生产环节可得到有效规则，并生成预警数据，实现精准监测日志量异常、发现问题日志并产生预警。 关键词 日志问题；异常检测；专家经验；预警规则 中图分类号 TN915 文献标识码 A 文章编号 1008-5599（2023）07-0059-06 网络设备日志作为重要数据组成部分，在网络质量 器系统及上层应用所有的事件都记录在日志中，各厂家 问题发现与定位中发挥重要作用。通过日志数据的采集 原始日志数据差异较大难以直接进行使用。若全部依赖 处理和分析，对网络问题进行预警，对提高网络运行稳 人工对原始日志数据进行提炼归纳，得到问题预警规则 定性和改善网络质量有着重要意义。通信网络中设备种 用于监控，对于人工分析数据环节要求较高，规则梳理 类繁多，在如此复杂的异构网络场景中，影响端到端网 难度较大。面对异构的数据源，传统的做法是通过数据 络质量的问题可能存在于无线接入网、传输网和核心网 字典对异构数据进行标准化后进行分析，需要处理的日 等众多网络设备中。尤其是近年来随着 NFV 和 SDN 等 志数据量巨大，耗时耗力并且难以持续高效输出规则。 技术的不断发展，虚拟化平台和虚拟化网元的类型及数 因此人工梳理日志规则的方法在复杂的通信网络设备中 量成倍增长，如何在大量繁杂的日志中快速筛选出异常 并不适用，引入自动化和智能化手段辅助挖掘问题日志 概率较高的日志正文，从而发现有效的问题日志并产生 的发现预警规则显得尤为重要。 预警成为一项重要课题。 在 NFV 场景下，为应对接入种类繁多的日志，本 日志数据是按照网络系统或设备在设计完成阶段就 文提出并验证了一套结合自动化处理与 AI 算法得到批 固定好格式产生的。对于网络功能虚拟化的场景，服务 量日志问题识别规则，结合专家经验判别确认后得到有 收稿日期 ：2023-04-21 59 2023年7月 第 7 期（第36卷 总第312期）月刊 运 营 与 维 护 电信工程技术与标准化 效规则，再基于规则发现及预警日志问题的方法。 数据。 1.2 构建数据处理及分析平台 1 整体方案 通过构建数据处理及分析平台，将以上方法流程自 动化，从而以数据流的方式处理和分析日志数据支撑生