浪潮-数据中台建设方案v1.0202001.pdf

数据中台建设方案 目录 第 1 章 综述 1 1.1 项目背景 1 1.2 建设目标 1 1.2.1 数据资产自动汇聚、一键发布 1 1.2.2 数据资产可视、可用、可管理 2 1.2.3 数据质量可控、可视、可追溯 3 1.3 建设思路 3 第 2 章 建设方案 5 2.1 采集层 5 2.1.1 采集适配模块 5 2.1.2 数据处理适配器 5 2.1.3 数据采集策略的定制管理 6 2.1.4 数据补采 8 2.1.5 采集调度模块 9 2.2 数据模型层 18 2.2.1 建模方法思路 19 2.2.2 数据模型分层架构设计 22 2.3 数据治理功能 24 2.3.1 统一数据标准管理 24 2.3.2 统一数据建模 24 2.3.2.1 统一数据加工 25 2.3.3 统一数据资产 25 2.3.4 统一数据质量管理 25 2.3.4.1 统一数据共享与开放 26 2.4 能力开放 27 2.4.1 数据资产开放 27 2.4.2 指标开放 27 2.4.3 数据服务超市 27 2.5 网管迁移方案 28 2.5.1 BI 工具 28 2.5.2 话务及数据专业报表明细整理 31 第0页，共32页 数据中台建设方案 第1章综述 1.1 项目背景 在20年集团网络工作部署，明确提出构建网络中台，推进业务拉通和数据共 享。打造数据业务化、业务数据化、技术通用化的网管中台架构体系。以业务与 数据治理为核心，存量系统共性能力按需解耦改造、新增能力遵循分层架构建设。 1.2 建设目标 针对本次系统接管与替换，在整体架构上考虑以中台支撑现有系统的发展， 基于智慧平台构建的OSS数据中台，实现数据专业整合，打通专业信息壁垒和数 据孤岛，提升数据规范化水平。实现数据集中存储和业务逻辑的数据处理，包括 按时间粒度和维度组合的数据汇总。同时数据中台中的数据可根据需要封装后直 接对上层应用开放。 1.2.1数据资产自动汇聚、一键发布  数据资产多手段自动汇聚 通过三种手段实现数据处理相关的接口、模型、任务、服务、指标各环节元 数据及血缘关系的自动获取，同时发布为数据资产。 ✓ 血缘关系自动获取，自动获取数据实体间的上下游信息，字段之间转换 关系。 ✓ 血缘关系登记录入：在无法自动获取血缘关系的场景下，提供血缘关系 登记录入界面，以补充完整数据血缘关系。 ✓ 元数据登记录入：支持数据实体的批量录入功能，能够满足物理实体及 其元数据信息的快速创建。 第1页，共32页 数据中台建设方案  数据资产一键发布 依托统一的元数据库，将开发完成的标签、指标数据一键发布到标签库、指 标库、。 标签库：展现企业的标签数据，用于包括开发人员、业务人员、运维人员理 解系统标签库的现状，支撑其进行数据订阅使用、生命周期管理等应用。 指标库：展现企业的指标数据，用于包括开发人员、业务人员、运维人员理 解系统标签库的现状，支撑其进行数据订阅使用、生命