智能日志分析系统的设计与实现.pdfVIP

新潮电子

2025年第01期技术应用

智能日志分析系统的设计与实现

111112

郑月霞，任少松，武志宇，刘靖宇，蒋越维，来永茂

（1.中国移动通信集团河北有限公司，河北石家庄 050000；2.北京优特捷信息技术有限公司，

北京 100000）

摘 要：传统的日志分析工具存在一些局限性。为应对这些问题，本文设计一个分布式智能日志分析系统，

功能涵盖日志采集、字段提取、搜索、监控、智能分析和可视化与统计等多个方面。通过实践，该系统成功部署在

某省电信运营商，为运维人员提供强大的日志分析支持。

关键词：日志分析系统；数据采集；数据处理；智能分析

随着数据中心设备数量的持续增长，系统架构需求上，进行快速统计和展现。

变得日益复杂，云化、容器化、集群化、分布式和多中（三）ElasticStack/Graylog等项目

心模式已成为常见的架构范式。万台设备数据中心的ElasticStack是目前开源领域最流行的日志分析

各类数据量日均已达亿万级，数据格式也变得复杂多选择。ElasticStack提供日志的采集、传输、处理、

[3]

样。其中，日志数据作为系统运行过程中生成的一种存储、查询、统计和展现等一整个环节的能力。但

重要数据，记录系统的各种操作和事件。通过分析日其开源部分缺乏常见的设计、权限、告警和管理等高

志数据，可以帮助用户了解系统的运行情况，发现潜在级功能。此外，ElasticStack的内部API频繁变动，想

问题，并提供解决方案。然而，由于日志数据量大，结要对其进行深度的二次开发极为艰难。Graylog是在

[1]

构复杂，传统分析手段往往难以满足需求。为此，本Elasticsearch系统上整合和构造开源日志分析系统

文设计实现一个新的智能日志分析系统，该系统可实的典范。在一个统一界面上可以轻松完成对不同组

现万级eps数据的分布式采集存储、故障信息快速筛件和流程的管理使用。但限于Elasticsearch的能力，

选、海量日志有效分析、智能化告警监控、故障场景智Graylog也只能提供对已经提取入库的字段的查询和

能化检测和智能处理，可提升故障发现及时率和处理简单统计功能，无法提供基于结果的二次统计和高端

效率。数据挖掘能力。

一、通用日志分析系统的局限性（四）Grafana/Fluentd/Loki等云原生项目

日志分析技术在多年的发展中，已经经过几代的在云原生项目中，经常会使用Grafana展示容器和

发展，涌现各种不同的技术手段和工具。这些工具在微服务环境的监控指标和统计数据。其中部分数据的

解决一些问题的同时，也都还带有一定的局限性。来源就是日志。Grafana也在2019年顺势推出了Loki开

（一）grep/sed/awk等命令行工具源项目，配合Fluentd采集，专门进行容器环境日志的存

运维工程师在运维故障发生后，登录各台服务储和查询。但Loki不提供日志原文的索引查询能力，不

器，使用grep/sed/awk等Linux脚本工具去日志里查找提供日志字段提取及统计分析能力。由于没有全文索

[2]

故障原因，排障时间长，未必能及时找到故障根源。引，关键字过滤通过并发grep方式进行，而Loki项目还

采用awk配合sort、uniq等可以进行初步的统计分析，但处于早期阶段，容错处理不佳，时间跨度稍微大一些，

是终端表格类型的输出非常不