罗来锋-字节跳动云原生大数据运维管理实践.pdfVIP

字节跳动

云原生运维管理实践

罗来锋｜字节跳动资深研发研发工程师

多年大数据及应用研发经验，主导建设过数据中台、数据仓库等大数据产品

的商业化落地。现负责火山引擎云原生大数据架构和研发工作，打造支撑公

有云、混合云、私有云一体化的云原生大数据运维管理平台，目前已集成多

款serverless产品，如Flink、Spark、mq、OpenSearch、CloudFS等，提供

一站式的大数据产品体验。

业务现状与背景介绍

架构简介

环境管理与组件服务

统一的日志监控告警

业务现状与背景介绍

背景介绍

组件繁多部署复杂环境耦合

大数据领域很多工作都需部署一套完整的生产环境组件与所在环境耦合严重，

要众多组件配合完成需要管理复杂的依赖条件移植困难

和配置输入

云原生演进

无服务状态感知极致的弹性伸缩快速的故障转移

云原生演进

架构微服务化应用容器化

服务架构按功能划分成多个小组件，功能上容器提供了可移植性，可保证环境间的一致

更加高内聚、低耦合，降低变更的复杂度性。通过将所有内容封装到单个镜像中，

可将微服务及其依赖项与底层基础结构隔离

云原生演进

基础设施不可变声明式API

不可变基础设施的主要好处是部署的简单通过声明式API，可以把功能实现细节对用

性、可靠性和一致性，这些特性会减少或户隐藏，用户无法直接操作影响环境，整体

消除许多常见的痛点和故障点环境更加稳定，功能变更与演进也更加方便

架构简介

云原生上的运维实践

伸缩性好移植性强

环境感知弱

资源占用低

稳定性高

所有运维相关的功能所有运维相关功能要

上层业务在使用运维

必须能够跟随集群规求进行可插拔式设计，

运维组件本身的资源相关的功能时不需要

模进行伸缩，不能的能快速对接用户自有

占用相对集群总体规