数据中台数据模型建设方案V2.docx

交换数据量较大、 交换数据量较大、 低实时性要求 FTP 发布订阅模式 数据服务2 数据服务3 安全及自身管理 共享安全管 认证鉴权 理 权限管理 负载均衡 日志管理 统计分析 服务运行监控 小数据量在线交互， 高实时性要求 SOAP/ATP API接口模式 数据服务1 数据服务管理 服务注册与发 布 服务目录维护 服务检索 服务路由 定期或一次性大批 量数据要求 ODBC/JDBC 数据库模式 数据服务n 服务策略管理 访问队列管控 访问会话管控 访问过程管控 访问缓存管控 第三方 应用 服务 模式 数据 服务 数据 地图 元数据 数据中台数据模型建设方案 目录 第 1 章 综 述 3 1.1 项目背景 3 1.2 建 设 目 标 3 1.2.1 数据资产自动汇聚、 一键发布 3 1.2.2 数据资产可视、可用、可管理 4 1.2.3 数据质量可控、可视、可追溯 5 1.3 建设思路 5 第 2 章 建 设 方 案 7 2.1 采 集 层 7 2.1.1 采集适配模块 7 2.1.2 数据处理适配器 7 2.1.3 数据采集策略的定制管理 8 2.1.4 数据补采 10 2.1.5 采集调度模块 11 2.2 数据模型层 20 2.2.1 建模方法思路 21 2.2.2 数据模型分层架构设计 24 2.3 数据治理功能 26 2.3.1 统一数据标准管理 26 2.3.2 统一数据建模 26 统一数据加工 27 2.3.3 统一数据资产 27 2.3.4 统一数据质量管理 27 统一数据共享与开放 28 2.4 能力开放 29 2.4.1 数据资产开放 29 2.4.2 指标开放 29 2.4.3 数据服务超市 29 2.5 网管迁移方案 30 2.5.1 B I 工 具 30 2.5.2 话务及数据专业报表明细整理 33 第1章综述 1.1 项目背景 在20年集团网络工作部署，明确提出构建网络中台，推进业务拉通和数据共 享。打造数据业务化、业务数据化、技术通用化的网管中台架构体系。以业务与 数据治理为核心，存量系统共性能力按需解耦改造、新增能力遵循分层架构建设。 1.2建设目标 针对本次系统接管与替换，在整体架构上考虑以中台支撑现有系统的发展， 基于智慧平台构建的OSS 数据中台，实现数据专业整合，打通专业信息壁垒和数 据孤岛，提升数据规范化水平。实现数据集中存储和业务逻辑的数据处理，包括 按时间粒度和维度组合的数据汇总。同时数据中台中的数据可根据需要封装后直 接对上层应用开放。 1.2.1数据资产自动汇聚、 一键发布 ● 数据资产多手段自动汇聚 通过三种手段实现数据处理相关的接口、模型、任务、服务、指标各环节元 数据及血缘关系的自动获取，同时发布为数据资产。 √血缘关系自动获取，自动获取数据实体间的上下游信息，字段之间转换 关系。 √血缘关系登记录入：在无法自动获取血缘关系的场景下，提供血缘关系 登记录入界面，以补充完整数据血缘关系。 √元数据登记录入：支持数据实体的批量录入功能，能够满足物理实体及 其元数据信息的快速创建。 接口离线采集接口、实时采集接口、互联网爬取接口… 接口 离线采集接口、实时采集接口、互联网爬取接口… 模型 缓存层横型、基础层模型、汇总层模型、应用层模型 任务 采集任务、数据汇总任务、数据挖掘任务、数据清理任务… 服务 数据API服务、数据交换服务、数据报告服务、数据应用服务 指 标 PI 、KPI 、KQI QoE. 数据资产 汇聚 标签库 指标库 健发布 键发布 ● 数据资产一键发布 依托统一的元数据库，将开发完成的标签、指标数据一键发布到标签库、指 标库、。 标签库：展现企业的标签数据，用于包括开发人员、业务人员、运维人员理 解系统标签库的现状，支撑其进行数据订阅使用、生命周期管理等应用。 指标库：展现企业的指标数据，用于包括开发人员、业务人员、运维人员理 解系统标签库的现状，支撑其进行数据订阅使用、生命周期管理等应用。 1.2.2数据资产可视、可用、可管理 ● 强化元数据管理能力 将数据开发过程和元数据登记录入过程融合，实现元数据信息的自动录入。 ● 实现数据开发的统一管控 数据生产各环节的开发工作基于数据管理模块实现，各环境的元数据信