科技公司大厂业务数据中台技术方案设计.pptx

科技公司大厂业务数据中台技术方案设计;

业务中台技术方案

统一技术架构、统一应用运行运维平台;

生命周期管理

部署/卸载

启动/停止

升级/回滚

灰度发布

弹性伸缩;

云基础服务尖刀

网络：政企上云最佳网络首选

·企业级网络能力：IDC与云上2层网络互通、企业级QoS保障、ELB多AZ容灾、企业网络

枢纽

·规模大：单租户5000VPC、10000路由；

·低时延：10us时延RoCE网络;

微服务微服务设计微服务开发微服务测试微服务治微服务运维

业务划分APIGServiceComb云测/CPTS理CSEAOM/APM

微服务生命周期

全自动测试智能运维;

中台技术架构：基于HW云DevOps一站式开发运维平台和中间件快速开发和减少运维;

数据中台技术方案

数据接入、数据湖底座、数据治理、数据开发、数据服务;

对象存储服务OBS/HDFS/数据仓库DWS/RDS

批量数据迁移实时数据接入

ROMA-FDICDMROMA-Link]DISVSKafka

数据集成云数据迁移设备集成数据接入视频接入消息队列

批量数据接入媒体数据接入实时流数据接入

(如数据库、日志、文件)(图片、视频、语音)(终端、IoT、日志、互联网、增量);

数据使能平台--核心竞争力：数据湖通过存算分离+鲲鹏大数据架构降本增效

多个集群数据无需冗余在每个集群中，一份存储多集群公用

计算与存储分离，资源按需扩缩，计算总核数下降20%,资源利用率提升40%,综合成本下降30%;

数据中台

创新应用身份认证

API商品推荐销量预测

指标标签算法模型

门店交易库存;

CDC(ChangeDataCapture),即数据变更抓取，通过为源端数据源开启CDC,ROMA可实现数据源的实时数据同步以及数据表的物理删除同步。

ORACLE:支持XStream和LogMiner两种方式，需要在源库开启CDC功能，并有一定的版本限制。

ROMA:配置数据集成任务，通过配置表映射，将源库的变化数据同步到目的表，ROMA单任务支持1000张表。

DWS:做为数据集成目的端，提前建表，存储数据，并进行分析计算。

DAYU:数据统一运营平台，提供数据建模、数据开发、作业管理、数据治理、数据质量、

数据服务等能力，完成数据生命周期管理。

OBS:云存储，提供海量数据存储能力，用作冷数据的备份归档。;

数据中台--关键能力2:DAYU实现数据一站式运

营面向企业数字化运营诉求，提供站式智能数据管理能力，帮助企业快速构建从数据接入到数据分析的端到端智能数

据系统，消除数据孤岛统一数据标准加快数据变现，实现数字化转型。;

数据中台--关键能力3:ROMA实现应用、数据全面集

成

兼容原有传统系统的同时，以微服务技术开放其中的核心资产，实现新应用和旧系统的连接；帮助企业在持续创新的过程中，构建可平滑演进的企业IT架构;

14