云原生环境下的日志监控.pdfVIP

云原生环境下的 日志监控 eBay的日志监控演进之路 Intro 云原生环境下，应用容器化，架构微服务化，给日志监控带来了很多挑战，例如客 户端数量激增，日志分布更为分散，查询速度缓慢。 eBay生产环境拥有超过十万台 Kubernetes Node的集群，日志监控面临很大挑战。 我们尝试了若干开源方案，碰到了诸多问题，也吸取了很多经验。最终成型了一套 轻量级的高效的大规模下的日志监控系统。这里我们会和大家分享一些我们的经验 教训。 Journey on Logs - Stage 1 需求 - 低开发成本上线 - 客户学习成本低 先解决有没有的问题 方案 Filebeat + Kafka + Elasticsearch + Grafana Journey on Logs - Stage 1 几年后。。 问题 - 扩容成本巨大 (300+ nodes, 0.15GB/s, 30 days) - 查询缓慢 - 数据丢失，迟到现象严重