元数据及数据质量介绍.pptVIP

元数据及数据质量介绍议程内容 数据管控 元数据 数据质量 问题与讨论 2 8/6/2019 Confidential 随着数据仓库的不断成长，你能回答下面的问题吗？ 3 8/6/2019 源系统发生变化后数据仓库到底需要修改多少程序？ 发生了多少次变化？从年初到现在哪些系统变化最频繁？ 某个ETL加工程序到底经过多少开发人员的修改？每次改动的内容是什么？ 哪个源系统的数据质量最好？哪个小组开发质量最高？ 哪些字段采用了公共代码？代码映射规则是什么？ 哪些字段是需要做变形的敏感字段？在不同环境下同步的变形策略是什么？ 企业级信息管控体系 企业级信息管控 战略性和策略性管理，项目所有权和优先次序设定 数据管理 界定日常持续创建、使用和废止数据的职责 元数据管理 用来描述如何、何时和由谁来负责数据的接收、创建、访问、修改和格式的数据 数据标准 数据的业务、技术规范性文档 数据质量 数据满足特定使用的适用度，包括完整性和业务规则遵从性 数据整合 对各主题进行数据清理、转换、整合和丰富的流程 数据安全与隐私 各业务主题对安全性和保密性的要求，包括审计能力 主数据管理 数据资产以及定义企业运营的关系 人员、流程和技术 企业级信息管控 数据管理 主数据管理 数据质量 元数据管理 数据模型业务视图 数据安全与隐私 数据整合 数据标准 4 8/6/2019 数据管控实施的三个方向 5 8/6/2019 Confidential 平台：数据管控团队的工作必须建立在自动化的高效的信息平台。 接口：企业的信息系统之间应按照数据管控接口规范进行交互。 模板：信息系统向数据管控平台提交数据可以通过标准模板。 技术 流程：根据管控要求建立可执行工作流程，并严格执行工作流程。 规范：企业的各工作岗位有数据管控团队制订的工作规范。 制度：企业须建立数据管控的制度。 流程 组织： 建立企业级的数据管控团队是数据管控的基础。 角色：团队中按照管控的内容进行岗位的设置，即角色。 职责：不同的角色拥有详细的工作职责。 组织 数据管控特点 企业的分析型应用发展到一定的成熟度，就能发现数据管控的价值。 数据管控是跨系统、跨部门的管理。 数据管控必须有先进的管理方法论支持。 数据管控是需要长期的、渐进式的工作。 数据仓库是执行数据管控理想的平台。 6 8/6/2019 Confidential 企业数据管控成熟度 7 8/6/2019 Confidential 成熟度1： 未知级 成熟度2： 被动级 成熟度3： 主动级 成熟度4： 预测级 数据管控成熟度模型 我们建立了企业数据管控成熟度模型，该模型能够使企业识别和量化数据管控的成熟度，为企业的下一步数据管控提供指导。 你的企业处在哪一级？ Unaware：未知的 Reactive：被动的 Proactive：能动的 Predictive：预测的 8 8/6/2019 Confidential 回报 人员、流程、技术的整合程度 风险 数据管控平台架构 Database 数据管控知识库 Metadata DQ DS ETL 数据管控平台 B/S应用 DDL Excel XML Source Data SQL 登录 浏览 搜索 管理 下载 分析 管 理 安 全 Mart PDM Stage DBA Admin Application Platform (TAP) 业务单元 MVC 独立单元 系统管理 数据标准 元数据 数据质量 需求管理 数据安全 灵活查询 数据管控平台 C/S应用 ETL DBC Perl 开发 应用 需求开发 SDM 信息调研 版本控制 测试 ETL开发 工作模板 控制 批量 加工 数据管控平台应用 10 8/6/2019 Confidential 业 务 应 用 数据管控门户 数据管控的统一的登录网站，下列的数据管控系统均部署在数据管控门户上 元数据 元数据是数据管控的IT基础，包含业务元数据和技术元数据。建立企业级的元数据管理平台，支持双向的、动态的元数据。 数据质量 企业级的数据质量管理平台，拥有统一的检查规则管理、检查规则的审批流程定义，并在各业务系统上部署检查Agent程序，汇总检查结果与错误明细。 数据标准 数据标准管理平台，数据标准的维护与发布，标准与元数据建立对应关系。在各业务系统部署标准执行监控Agent程序，统计标准执行情况。 数据安全 统一的数据安全管理平台，根据与元数据的关系，定义数据在整个业务线、数据线的安全管理规则。 需求管理 管理需求生命周期，需求确认、需求跟踪、需求变更等内容，以及需求与开发模块之间的关系，需求与最终的接口、映射加工内容等元数据的关系。 仓库资源计费 通过给出资源（磁盘、C