AloudataBIG-主动元数据DataOps建设新支点.docx

Aloudata

主动元数据，DataOps建设新支点

大应科技/赵尉淋

2024/8/17

InfoQ极客传媒

极客邦科技2024年会议规划

促进软件开发及相关领域知识与创新的传播

QCon北京全球软件开发大会会议时间：已结束北京ArchSummit全球架构师峰会会议时间：已结束ArchSummit全球架构师峰会

QCon北京

全球软件开发大会

会议时间：已结束

北京

ArchSummit

全球架构师峰会

会议时间：已结束

ArchSummit

全球架构师峰会

全球人工智能开发与应用大会

会议时间：12月20-21日会议时间：已结束

会议时间：12月20-21日

4月5月6月8月8月10月12月

AiCon北京

全球人工智能开发与应用大会

会议时间：已结束

FCon

全球金融科技大会

会议时间：已结束

上海QCon上海

全球软件开发大会

会议时间：10月18-19日

关于我

·20年数据领域经验，大应科技联合创始人，现任首席数据架构师和客户成功官，对金融业务数智化有深刻理解和丰富实战经验

·原蚂蚁集团、菜鸟集团数据平台部数据架构

师。菜鸟物流数据体系主要设计者和建设者。

曾主导蚂蚁集团2020年全域数据架构升级和治理工作

FCon全场业融科孩大曲InfoQ

FCon

全场业融科孩大曲

目录CONTENT

·DataOps体系的背景与建设目标

·主动元数据平台是DataOps体系的新支点·什么是主动元数据平台

·什么是算子级血缘

InfoQ极客传媒

DataOps体系的背景与建设目标

InfoQ极客传媒

现代数据工程架构弊端显现，协同难、管理难、交付难

ModemData

ModemDataStack

舞首

工具生态和链路复杂性剧烈膨胀的现代数据工程架构加剧数据协同与管理、交付困境

·数据协同难

企业数据应用场景增加，参与数据管道构建团队增多，数据管道持续增长，下游团队持续增多，数据管道“烟囱化”越来越严重，形成日益复杂的工作流和数据流

T·数据管理难

T

ksee数据量成倍增加，ETL任务成倍增长，ETL工程师人均维护数据流中的表和数据管道的数量成倍增加，依靠ETL工程师很难在高度复杂数据流中找到优化方案

ksee

按时按质

数据交付

How?

·数据交付难

weteogrosbat越来越多的业务场景要求需求响应效率从月/周到天/时，数据分析更灵活性，支持多维度明细下探，强调数据分析一致性，以及技术上成本、风险的平衡

weteogrosbat

全环生融料孩大鲁InfoQ极客传媒

全环生融料孩大鲁

DataOps架构理念：数据旅程各环节紧密衔接，快速响应需求

架

DATAOPS√旅程紧密衔接√流程自动流转√

DATAOPS

InfoQ极客传媒

DataOps突破现代数据工程架构困境，实现“数据优先”

Data-RrstStock

ConsetinGateoy

ConsetinGateoy

Pre

tergousbrtn

■DataOps价值主张：

通过“端到端”打通数据流水线，

打破“点对点”的低效数据协作流程，实现“手递手”的数据价值释放。

■通过引入DataOps,实现“数据优先工程架构”:

定位：面向数据管理做优化

目标：追求数据的高可用性(不迟、不错、不重、不漏)

机制：核心产出数据资产，数据运维方式隐式，尽量自动化

一站式、一体化建设自动化、智能化发展

FCon

学略生融释孩大

InfoQ极客传媒

DataOps体系建设的“一个目标、两个实现”

流程优化技术升级

从“人盯人”升级成“事盯人”实现敏捷数据协同从“人治”升级成“机治”实现主动数据管理数据优先即业务优先

从“人盯人”升级成“事盯人”

实现敏捷数据协同

从“人治”升级成“机治”实现主动数据管理

敏捷、可靠、自动

生

生技InfoQ极客传媒

主动元数据平台是Dat