日志中心云平台日志服务技术方案.pdfVIP

日志中心云平台日志服务技术方案

一、日志中心简介

日志中心概述日志中心(CLS)旨在为云平台应用提供方便、高效的日志采集、清

洗、集中存储、检索服务，为云平台应用日志统一接入管理服务化提供一套可行

的解决方案。日志中心为租户提供以下服务：

1.日志采集服务。日志中心采集对象适用于在云平台环境中任何系统、微服

务、平台以及中间件、容器等持久化到磁盘的文本日志。

2.日志清洗服务。日志中心按照租户需求提供日志字段提取、替换等清洗能

力，为日志分析提供标准化输入。

3.日志集中存储服务。日志中心提供租户日志的集中存储管理、安全备份，

通过集中存储方便用户查询、分析日志，为用户解决日志分散、难以管理的难题。

4.日志检索服务。通过日志搜索引擎为租户提供近实时日志检索功能，方便

租户集中查看日志进行线上排查问题，解决以前查看分布式日志来回跳转主机的

痛点。

云平台微服务日志的特点

1.微服务相对于单体应用是松耦合的，在灵活性、可扩展性上要高很多，但

是管理复杂性更高，服务数量增加时分布式部署追踪问题更困难.

2.为了降低微服务的部署和运维的复杂性，多通过容器做统一化的部署流程，

采用微服务架构的系统在云平台中部署应用和服务.

3.微服务具有独立开发、独立部署、独立运行和扩展、独立团队和自治的特

点，这意味着不同服务的日志格式可能不同、团队没有统一日志标准，微服务日

志存储相对分散、主机不固定、遇到问题难以追踪.

4.为了解决微服务难以追踪的问题，所有微服务日志需要统一采集到后台日

志系统，集中存储、集中管控，方便团队进一步分析和处理问题.

二、技术实现原理日志采集实现原理

容器日志分为标准输出日志和文件日志两种，用户可进入容器查看文件日志

或使用容器的相关命令查看标准输出日志，根据容器内文件日志是否挂载到相关

存储介质实现持久化保存，日志中心将提供持久化和非持久化两种方式采集容器

内的文件日志。持久化方式采集日志:可通过挂载卷持久化到主机磁盘，目前日

志中心使用专用日志采集端采集此部分日志，日志持久化方式接入是应用和日志

中心之间通过一块存储实现日志的共享，由于容器具有隔离的特点，应用和日志

采集端是隔离的，因此应用需要通过本地挂载卷或外部卷的形式将日志分享，提

供给相应的日志采集端读取。存储一般选择本地存储、云磁盘CBS和文件存储

CFS。

图1日志持久化方式接入

非持久化方式采集日志：可支持日志投递、SDK/API等方式接入日志中心。

日志投递流程如图1.2所示,用户应用实例在程序内部直接将自身业务或应

用日志发送到日志中心前置信箱(日志队列)，投递到信箱的日志通过日志中心提

供的ETL服务存储到日志中心日志库。采用直接投递日志到日志中心的日志采

集方案需事先向日志中心提交直接投递用户申请，申请成功后将获得主题

（topic）、投递地址、投递账户。

图2日志投递流程

主题：日志中心信箱主题(topic)格式为：

logcenter_[租户名]_[分组名]

其中租户名可为云平台租户名，分组名为用户日志分组。

投递地址：信箱投递地址默认为日志队列集群地址。投递账户：信箱投递账

户为日志队列账户，账户对用户主题具有生产和消费权限。ETL：同一分组的日

志格式请尽量保持一致。

日志中心基础架构

日志中心总体架构采用了分层设计的原则，其中日志采集层负责各类日志的

采集，消息总线层是模块间日志消息的缓存，日志处理层负责日志标准化的过程，

主要包含清洗、解析、标准化（格式转换、字段映射、打标等）三项能力，存储

层为ES,接口层实现日志中心内部接口与外部接口，日志分析层为用户提供数据

源服务，不提供分析逻辑，交互层为用户和管理员页面。

图3日志中心架构图

日志采集层：依托云平台，支持持久化方式日志采集方式：包括本地存储、CBS

和CFS。提供非持久化方式日志接入，支持日志投递、SDK/API等接入方式。

提供第三方日志接入接口，支持用户自建logstash、fluentd等第三方工具支持

各类计算服务日志接入：裸机、CKE、CCS等消息总线层：消息总线层负责缓存

日志，并具有高可用、高吞吐的特点。日志处理层：支持日志清洗、日志解析、

日志标准化等支持用户自定义解析规则日志存储层：支持日志以文档形式存储，

支持日志压缩、日志归档等日志交