DataWorks数据集成实时同步概述.pdf

DataWorks数据集成实时同步概述 技术创新，变革未来 目录 • 数据集成简介 • 实时同步特点 • 实时同步功能 • 实操环节 • 答疑时间 数据集成简介 全域数据同步的核心枢纽 数据集成简介 数据集成简介 • 跨异构存储系统、可靠、安全、低成本、可弹性扩展的同步平台 40+数据源 1600+对数据通道 已开源：/alibaba/DataX 实时同步特点及应用场景 实时 √更 高 √ 更低 √ 断点 √ 实时 √ 监控 … 时效性 侵入性 续传 分析 报警 2019年10月，商业化版本DataX支持了实时同步功能，开启上云灰度邀测 实时同步简介 • 支持的实时数据源 MySQL GDB Oracle MaxCompute SLS ADB For PG DataHub DataHub Kafka Kafka 已支持 即将上线 实时同步功能 • 复杂网络环境支持 公网 VPC IDC 实时同步功能 • Checkpoint机制 执行 节点1 位点信息 执行 高可用 节点3 存储系统 执行 节点2 断点续传 At Least Once 实时同步功能 • 多路输出 输入源 输出源1 输出源2 输出源3