vivo数据集成稳定性与数据质量保障及可观测实践.pptx

vivo数据集成稳定性与

数据质量保障及可观测实践

vivo互联网大数据架构师/易龙

目录

vivo数据集成平台架构及功能

vivo数据集成稳定性保障实践

vivo数据集成链路数据质量保障实践

vivo数据集成可观测实践

vivo数据集成平台架构及功能

数据接入

业务层

产品平台层

产品能力层

工单管理

任务管理

用户维度

监控告警管理

任务治理

集群管理

运维维度

数据质量

监控可观测

业务

数据传输集成

多种同步方式

批量（离线）全量/增量，实时同步，全增量一体

SDK接入

Agent日志接入

DB接入

多场景解决方案支撑

多种同异构数据源数据同步

源：Kafka/Mysql/MongoDB/Pulsar/…

目的:Kafka/Pulsar/Hive/CK/Hudi/HBase/…

构建实时离线一体化数据仓库

推荐、风控、分析等实时业务

实时客户分析及精准推荐

实时营销活构建客群标签画像

业务日志离线、实时接入

业务多维数据分析数据接入

离线异构数据源同步

实时异构数据源同步

一键诊断

SLA管理

产品能力地图

Bees，是vivo的一站式数据集成平台，它支持将多场景下多样化、分散的数据源，统一汇聚到大数据存储，是数据流入大数据体系的一座桥梁。

数据量大小

PB级/日

数据量条数

万亿级/日

数据完整性

99.999999%

可用性

99.99%

数据时效性

500ms

SLA管理

业务1

业务2

业务3

业务4

……

分层架构图

核心组件架构图

Bees监控模块

监控、指标展示与告警

Bees-Manager

工单接入管理

任务管理

采集配置管理中心

用户平台服务【极重要】

Bees-SDK

数据接入SDK工具包

Bees-Agent

源端日志接入组件

部署在业务机器

影响CPU、内存、文件句柄、IO

Bees-Bus

数据传输管道服务【极重要】

Bees-X：实时数据同步服务

支持binlog日志采集

mongdboplog实时采集

支持其他异构数据源数据同步

核心功能介绍

bees-x

业务隔离

支持接入到Kafka、Pulsar

支持接入到Hive、CK等

对主库无性能影响保障秒级别时延

支持指定点位进行数据续传

支持容器服务日志

按小时粒度批传输

按10分钟粒度批传输

支持限速

业务数据无需落地日志

更低的时延（毫秒级）

支持Avro、Thrift协议

支持Java、C++语言

实时日志接入

Nginx/Tomcat/埋点日志支持容器服务日志

传输到Kafka（500ms内）支持过滤

支持同时写多Kafka

离线日志接入

Nginx/Tomcat/埋点日志

DB全增量日志实时接入

SDK数据接入

核心问题及挑战

 链路稳定性

 链路数据质量

 链路可观测性

网络/服务端

接入传输

ETL

（Spark/Flink）

数仓

数据上报

核心问题维度

 被动接收告警，问题定位恢复慢

 散点式救火，运维成本高

 数据产出时效性波动大

 告警多而杂，处理成本高

痛点问题

 如何从根本上长效的保障稳定性

 如何从全 路视角保障数据时效性

 如何有效准确的告警并快速恢复

核心挑战

vivo数据集成稳定性保障实践

稳定性保障整体方案

MTBF:（MeanTimeBetweenFailures)，平均故障间隔时间MTTF：(MeanTimeToFailure)，平均无故障时间MTTR：(MeanTimeToRepair)，平均修复时间

架构组件：核心服务存储多活高可用

bees-agent

bees-manager

nginx

bees-manager

LVS+Keepalived

bees-sdk

bees-bus

bees-monitor

portal

master

slave1

slave0

proxy0

proxy1

ag

ag

z

z

bees-manager

nginx

bees-manager

Slave3

slave2

proxy2

proxy3

z

z

IDC1

IDC2

zookeeper

agent

MySQL

bees-manager

bees-manager

ag

ag

同服务

同数据

核心管控服务集群

API服务集群Portal服务集群

核心服务多活高可用

服务拆分多节点部署

跨机房容灾

存储多活高可用

跨机房容灾

Proxy，无中心集群，支持高可用

Agent，基于Raft选

主，支持高可用

节点均支持动态扩缩容

Proxy配置基于Zookeeper进行同步，保障一致性

架构组件：核心组件支持健康检查

链路核心组件心跳上报

异常及时发现，追数补数

管控服务

bees-agent

心跳上报