2022腾讯大数据技术架构.docxVIP

1

腾讯大数据技术架构

2022

整体架构简介

⑩业务需求

⑩基础平台架构

大数据时代的业务需求

用户规模·

用户规模

·千万-10亿

并发请求

·C10K-C10M

用户响应·秒-毫秒

机器规模·千-万-10万级

机器规模

·千-万-10万级

数据规模·TB-PB-EB

数据两大领域

数据消费域●OLAP

数据消费域

●OLAP

数据生产域

●OLTP

基础平台架构

数据产品秒级监控/精准推荐/多

数据产品

秒级监控/精准推荐/多

维分析/…

SDK:DataAPI

SDK:

OLTPOLAP业务逻辑TDF:配置/日志/协议

OLTP

OLAP

业务逻辑

TDF:配置/日志/协议

/路由/权限/容错/容灾

实时计

算

TRC

离线计

算

TDW

分布式存储分布式存储

分布式存储

分布式存储HDFS/HBase/..

TDSQL/..

资源调度

Gaia

资源管理

关键技术概览

●资源调度Gaia-8800台

●分布式数据库TDSQL-高一致性

●分布式计算-规模化、实时化、多样化

资源调度-Gaia

⑩Gaia简介

⑩Gaia核心特性

Gaia打造大数据云操作系统

配置管理、单点容灾+性能，扩缩容，资源利用率…,统统不用操心!

Ⅲ

将一组机器映射成一台逻辑上的大机器为上层提供简单、统一的资源界面

资源调度和管理

资源调度和管理

Gaia

8

9

Gaia核心特性

并行计算框架

ONLINE(Hbase)BATCH(Mapreduce)IN-MEMORY

ONLINE(Hbase)

BATCH

(Mapreduce)

IN-MEMORY(Spark)

HPCMPI(OpenMPD)

SERVICE

(Storm)

资源调度管理

资源调度管理

Gaia

StandbyRM

ActiveRM

ApplicationState

Node

ContainerStormAM

NodeManager

Node

ContainerSparkAM

NodeManager

Node

ContainerMRAM

CusterState

NodeManager

一硬件设施

●支持多种并行计算框架

●可扩展性好

●资源隔离彻底

●资源利用率高

10

(一)GaiavsYarn-提升可扩展性

在规模为1万节点，1万作业，1200队列时，

Yarn原生fair调度器平均每秒只能调度20个container。

一天只能调度1/0万个container。

而我们的现网集群，

平均每天调度的container数量为/000万+。

Gaia-资源调度器优化-sfair调度器

3.Launchcontainer

3.Launchcontainer

AppPool

Match

2.Selectanapp

1.Heartbeat

NodeManager

ContainerContainer

ResourceManagerScheduleThread

ContainerContainerContainerContainer

NodeManagerNodeManager

RMScheduler

NodePool

·心跳处理与调度解耦和：单集群规模扩展至1w个节点

·控制多线程间的同步：优化线程间锁，将调度线程持锁时间减少70%

·优化队列和作业排序：取消全排序，采用堆排序，减少了调度器80%的CPU时间

·降低调度开销：对无资源需求的app/queue,禁止其参与调度11

12

Gaia-资源调度器优化-效果

经过优化，在大规模环境下，调度器的平均吞吐率从20提高到1000,提高50倍。

上图优化前后的测试环境完全相同。均为1万节点，1万作业，1200队列。

(二)GaiavsYarn-增加资源管理维度

资源维度

Yarn

Gaia

Memory

√

√

Cpu

√

√

Diskspace

X

√

NetworkIO

X

√

网络出带宽管理

●结合linuxCgroups和HTB

●采用borrow机制，充分利用共享带宽资源

网络入带宽管理

●自主知识产权，通过修改Linux内核实现，实现精准而弹性，高效率低