海量系统日志采集解析实践.pptxVIP

海量系统日志采集解析实践

技术创新，变革未来

01

背景介绍

02

挑战及应对

03

采集手段

04

案例定制

05

现状简述

灵活

快速适应日志格式变化

量大

难以横向扩容

昂贵

按EPS计费难以承受

度量

日志有效性监测

02.挑战

02.应对

虚拟化集群

支持横向扩容

开源产品

自我可控

灵活

按需解析、规范化格式

富化

增加监测点

03.采集-Linux

imuxsock

imfile

impstats

omrelp

03.采集-Windows

WinlogBeat PacketBeatFileBeat

Logstash

03.采集-DB/API

JDBC

Rest

KAFKA

03.采集-SFTP

SFTP

Shell PythonBat/Powershell

03.采集-过滤/转换/富化

原始日志

负载均衡

过滤/转换/富化

初级原始日志

消息队列

04.案例定制

需求

分析

解析

运营

04.案例定制

V0

需求：Gtab中代码拉取情况监测

分析：Gtab中代码拉取途径HTTP/SSH,Gtab有多种类型日志文件,ap_」sonog、appcaton_」sonog、gt_」sonog、gtab-sheog中包含相应拉取代码的日志信息

解析：解析ap_」sonog、appcaton_」sonog、gt_