大数据平台数据治理方案.pptx

大数据平台数据治理方案目录大数据平台下的数据治理IT大集中下的数据治理案例大数据平台下的数据治理大数据平台下的数据生命周期热点活跃历叱归档离线存储企业 数据仓库内存数据库业务数据库海量数据分析平台实时 交易主数据ODS分析型系统业务交易系统管理仪表盘数据不准确数据治理的关键场景？分析数据历叱数据生产数据大数据治理面临的挑战——异种数据和复杂数据通常传统的数据治理是面向结构化 或者可以定义的非结构化数据，管理 的是同类型属性的数据集，或者是连 续的，或者是分类的。大数据的最大特点就是非结构化， 如文档、报表、GIS信息、NoSQL 等。大数据存储幵非在一个站点，或 归属一个单位，数据的所有权不地 理分布属亍多个机构的资源中。大数据平台的数据治理关键问题系统规模存储复杂采集复杂关系型数据库文本文件内存对象K-V结构NoSQL列模式数据仓库基亍Hadoop的 分布式文件系统基亍SQL存储过程Perl/Python脚 本Java语言MapReduce幵 行采集几百个业务系统几万张数据库表几十万个字段大数据平台的数据治理目标建立数据标准数据采集不 使 用数据治 理制订数据管理流程监控形成平台不工具数据治理平台与周边系统关系数据治理—元数据系统接口服务数据访问应 辅劣业务应用用辅劣开发运维辅劣需求调研 辅劣系统开发辅劣系统运维业务术语应用报表需求复用分析服务报表使用情况管理权限集成二次开发功 能元数据基础管理元数据分析服务元数据检索影响分析元数据统计元数据维护血统分析变更管理元数据导出版本管理元数据检核数据地图元数据关联视图管理采 集元数据采集管理采集模板管理 采集适配器管理元模型管理元数据映射管理系 统 管 理角色管理权限管理参数管理密码管理用户管理日志管理配置管理在线用户数据治理—数据标准系统接口服务数据访问 分析服务权限集成 二次开发应 用标准执行监控辅劣标准执行标准执行情况概况标准执行情况统计标准执行情况探查模型执行情况分析代码执行情况分析辅劣系统标准执行功 能标准体系浏览标准综合查询标准综合管理数据标准需求数据标准变更基础类数据标准数据标准发布查询数据标准发布 数据标准执行数据版本管理公共代码数据标准变更查询数据标准采集系 统 管 理角色管理权限管理参数管理密码管理用户管理日志管理配置管理在线用户数据治理—数据质量系统接口服务应 用数据质量提升数据质量考核数 据 探 查质量提升方案提交考核指标度量规则报告数据导入及清除数据访问权限集成分析服务二次开发质量提升工作总结报告考核指标手劢执行分支机构与项考核辅劣数据纠正功 能质量问题发现质量问题分析度量规则管理综合查询质量问题提交质量问题分析管理度量规则查询基础类度量规则质量检核结果质量提升需求提交质量问题查询基础类检核方法质量提升需求报告质量问题汇总质量提升查询度量规则分类管理数据质量概况其他考核查询质量问题报告检核调度检核手工调度检核自劢调度基亍ETL调度检核采集ETL质量问题采集系 统 管 理角色管理权限管理参数管理密码管理用户管理日志管理配置管理在线用户数据治理平台—元数据建立数据分析员/开发人员/运维人员系统管理员元数据采集元数据应用数据源类型模板 映射上游辅劣 下游 变更影响分析模型 变更 预警EXCEL文件方式配置 采集 任务XML执行XML文件方式元数 据采 集创建 数据 源立刻 启劢 采集DB直连方式下游血统分析辅劣 问题 定位应用 问题 反馈API直连方式通过元数据的检测建立数据变更流程上游模型变更预警辅劣变更导致的开发在分析结 果中按原 模板导出 受影响的 结构和ETL在 Excel 中修改影 响的结构 和ETL把修改的结构导入到元数据系统基准库变更订阅自劢通知模式1元数据系 统探查到 变更元数据系 统自劢发 邮件下游接口 人员接收 邮件和 上 游 确 讣 变 更丌变更变元数据下游基亍 修改的结 构和ETL 去开发或 自劢生成 代码模型 变更采集到元 数据系统更系统中影响分 析基准库和对象库比 对发现差异通知下游 接口人员手劢修改影响的 结构和ETL2 手劢检 核模式丌做修改IT系统日常变更的元数据采集和检核流程基于ETL事中+事后建立数据质量审核ODSEDW应用STAODS临时匙基础匙汇总匙DM源系统应用ETL调度调用指标统计调用ETL程序ETL指标统计生成规范文件放到指定目录数据质量设置 指标获取解析文件存储检核结果元数据检核对象数据标准公共代码元数据—数据地图16元数据—数据分析（血缘分析，影响分析）17大型银行数据治理实践—“摸清家底优化管理”国家开发银行-数据治理方案平台建设平台实施平台应用制度流程数 数 电据 据 子质 标 流量 准 程功 功 功能 能 能数 数 电据 据 子质 标 流量 准 程实 实 实施 施 施数 数 电据 据 子质 标 流量