大数据治理建设及运营方案.ppt

归集、清洗*、质量管控*、融合、开发规范、设计规范 * * * * * 归集、清洗*、质量管控*、融合、开发规范、设计规范 * * * * * * * * * 大数据治理建设及运营方案 目录/Contents 运营思路 01 数据资产定义及流程规范 02 治理规范及质量管控 03 市质量考核标准及提升方案 04 运营思路 核心原则 组建运营团队 职责定义、规范先行 规范化的运营及治理 持续的质量管控 对接组 治理组 … 编目及归集规范 政务系统建设指导规范 数据治理技术规范 数据质量管理规范 目录/Contents 思路 01 运营架构及流程 02 治理规范及质量管控 03 市质量考核标准及提升方案 04 运营团队架构及职责 数据资产定义（治理对象及要求） 目录 类型 来源 数据介质 治理需求 政务系统目录 库表 区委办局 Hive HBase Elasticsearch 需要清洗，然后融合加工 市区级联目录 库表 市资源平台 Hive HBase Elasticsearch 无需清洗，可以融合加工 API接口目录 API 市资源平台 区资源平台 区委办局 API 无需清洗 文件目录 文件 区委办局 HDFS 无需清洗 GIS数据目录 库表 空间地理子系统 PostgreSQL 无需清洗，可以融合加工 GIS服务目录 API 空间地理子系统 API 无需清洗 物联数据目录（存量） 库表 物联子系统 Hive HBase Elasticsearch 无需清洗，可以融合加工 物联消息目录（实时） MQ 物联子系统 Kafka 无需清洗 视频文件目录（存量） 文件 视频子系统 HDFS 无需清洗 视频设备目录（实时） 设备连线 视频子系统 设备自身 无需清洗 治理流程规范 委办局 前置机 共享交换 数据目录 数据归集 数据清洗/融合 数据底座 数据脱敏 门户 数据 资产 MX区大数据中心 - 数据治理流程 数据目录：委办局用户编目，形成委办局政务应用系统数据的库表目录。 数据归集：根据委办局目录去前置机抽取数据，归集进底座；归集后发送实际归集数据给到资产，关联目录和入底座的物理表名，触发治理清洗任务 数据治理：包括数据的清洗开发，质量监控等治理任务 数据资产：包括各种数据资产目录及资产信息。 门户：门户提供各类数据资产查询，包括数据目录（一目录），需求清单、责任清单和负面清单（三清单）以及各类治理任务查询。 共享交换：根据门户给到的审批结果、资产给到的资源信息、底座给到的数据通过通用API脱敏后给到委办局用户。 编目 治理规范 治理主线 环节 委办局 对接组 平台组 治理组-开发 治理组-质检 编目 编目规范 编目规范 编目规范 - 目录稽核 归集 委办推送规范 归集规范 平台归集规范 - 源数据稽核 治理过程 - 清洗融合规范 清洗融合规范 清洗融合规范 治理过程稽核 1 2 3 环节 治理对象 事前 事中 事后 编目 资源目录 定义规范、职责、执行流程、监控流程、提交物规范、质量监控规则 平台功能建设按照规范执行 定期检查及回顾《问题报告清单》《周期质量报告》 归集 资源数据 清洗融合 清洗后的基础模型 融合后的主题/专题模型 管控 按流程 按职责 目录/Contents 适用范围及核心原则 01 数据资产定义及流程规范 02 治理规范及质量管控 03 市质量考核标准及提升方案 04 数据治理框架 数据标准管理 目录管理 数据地图 字典标准 数据项标准 数据目录管理 数据资产管理 资产目录 资产清单 数据血缘 资产分析 治理团队管理 组织层级管理 数据团队管理 数据加工 治理规范定义 编目规范 清洗规范 融合规范 归集规范 质量管控 全过程流程驱动 全过程开发质量控制 目录质量管控 源数据质量管控 质量检查 质量检查报告 数据清洗 数据融合 任务监控运维 数据共享 数据归集 数据治理实现从数据的采集、加工到数据探索服务的全生命周期管理。并提供数据开发全过程的治理管控能力。 数据治理配套数据规范管理，建立数据标准化模型，对每个数据元素的业务描述、数据结构、业务规则、质量规则、管理规则、采集规则进行清晰的定义，让数据的归集、清洗、加工融合以及开放等数据治理过程均有标准可循。 目录注册 数据定义 校验规则管理 物理表检查配置 治理过程中的数据质量管控 质量规范 数据治理核心工作 编目 归集 清洗/融合 字段名称和类型标准化 维度值标准化 不合规范过滤 四. 质量检查 目录质量 归集质量 清洗/融合质量 质量规范 数据治理核心工作 1、编目、归集规范 编目要素 目录唯一性 命名规范 时间戳规范 表注释规范 字段注释规范 枚举值规范 《归集规范》提纲 总体目标 建设原则 接入双方责任 数据转换责任 关键字使用规范 数据源接