容器云平台日志中心架构设计.pdfVIP

容器云平台日志中心架构设计

1

目录

前言

一、日志中心需求概述

1.组件服务化需求.

2.日志数据集中分析处理需求

3.简化开发，专注于业务实现

4.日志格式标准化，采集规范化，存储统一化.

5.可扩展性需求.

6.松耦合需求

7.开放性，标准化需求

8.实时准实时处理需求

9.支持不同的日志格式、日志类型需求

二、设计原则

三、架构设计

四、组件介绍

1．日志采集

2．日志转换

3．日志中心Server.

4．日志展示

5．配置更新

五、日志中心组件定位

六、结束语

2

3

前言

日志功能是任何一个系统或组件必不可或缺的组成部分，我们每次规划建设一套系统或一个服

务的时候，都少不了需要考虑日志的问题。容器云平台也是一样，不但要考虑容器云平台自身

的日志，还要考虑部署于平台的业务应用、业务服务以及云上中间件的日志。再推广一点，以

微服务的思想来构建容器云平台，日志作为独立的组件微服务，不仅容器云平台可以访问使用

日志中心服务，其他平台、其他组件同样也可以访问日志中心服务。这样日志中心服务就可以

成为基础的组件服务，服务于整个公司的系统、应用、服务等，而不仅仅是服务于某个特定的

系统、应用、服务。真正做到一次建设，永久使用。

基于上面的考虑，我们提出容器云平台日志中心需求。

一、日志中心需求概述

1.组件服务化需求

我们以前也讨论过以微服务思想构建容器云平台，很重要的一点就是实现服务共享，一次建设，

多次使用。日志功能是最基础的功能需求之一，为避免重复建设，重复投资，造成浪费，把公

用的日志能力单独提取出来作为一个微服务组件，以实现服务共享、降低成本、节省时间，最

大化收益的目的。

2.日志数据集中分析处理需求

技术的发展使日志数据也越来越显示出其价值。以前在无法处理分析大量日志的情况下，很多

日志数据散落于各处，也由于竖井式的应用系统架构方式，日志数据归集繁琐，关联困难，日

志数据很难保存，大多都过一段时间就会被删除。随着大数据分析技术的成熟，使我们能从大

4

量的日志信息中挖掘获取到高价值信息、趋势，提供预测、决策支持。目前已经没有了技术限

制，因此日志数据的归集也更便于数据的统计、查询、分析、存储等，更好的挖掘数据的价值。

在去中心化大行其道的今天，我们为什么强调集中化和中心化？其实并不矛盾。去中心化并不

是没有中心，更多的是去单中心化，实现多中心化。在设计时需要自成一体，同时又是某一个

中心的一员。宇宙——银河系——太阳系——地球——生物——细胞——原子……，他们都依

附于一个中心，都是一个中心，同时并行的中心又有很多个。这样是一个生态系统。我们在做

软件设计、软件架构的时候，同样可以参考这样的思想，避免只见树木不见森林。

3.简化开发，专注于业务实现

简化业务系统、业务应用、业务服务研发，直接调用日志服务，不再关注日志格式、存储、运

维等问题，专注于业务逻辑研发。

4.日志格式标准化，采集规范化，存储统一化

不同的系统不同的应用格式不统一，首先把日志作为组件服务提出出来，在设计实施时只需要

按照日志中心的标准格式来打印输出日志，也实现了日志采集的规范化，日志数据存储的统一

化，这样对于日志的统计、分析等也易于处理。

5.可扩展性需求

要实现服务共享，可能就无法确切的预测到底需要多少资源，这就需要考虑可扩展性。随着业

务的需要自动或手动扩展。容器云平台的扩展，更多是考虑横向的扩展，比如增加节点数，增

加实例数，以支持更高的负载请求压力。最理想的方案是扩展无限制，但目前不太现实，所以

单个节点或者单个实例的能力还是要满足相应的要求。容器技术