元数据及数据质量介绍.pptxVIP

元数据及数据质量介程内容数据管控元数据数据质量问题与讨论 Confidential随着数据仓库的不断成长，你能回答下面的问题吗？源系统发生变化后数据仓库到底需要修改多少程序？发生了多少次变化？从年初到现在哪些系统变化最频繁？某个ETL加工程序到底经过多少开发人员的修改？每次改动的内容是什么？哪个源系统的数据质量最好？哪个小组开发质量最高？哪些字段采用了公共代码？代码映射规则是什么？哪些字段是需要做变形的敏感字段？在不同环境下同步的变形策略是什么？ 企业级信息管控体系企业级信息管控战略性和策略性管理，项目所有权和优先次序设定数据管理界定日常持续创建、使用和废止数据的职责元数据管理用来描述如何、何时和由谁来负责数据的接收、创建、访问、修改和格式的数据数据标准数据的业务、技术规范性文档数据质量数据满足特定使用的适用度，包括完整性和业务规则遵从性数据整合对各主题进行数据清理、转换、整合和丰富的流程数据安全与隐私各业务主题对安全性和保密性的要求，包括审计能力主数据管理数据资产以及定义企业运营的关系企业级信息管控元数据管理数据质量数据模型业务视图主数据管理数据标准数据整合数据安全与隐私数据管理人员、流程和技术 数据管控实施的三个方向组织组织： 建立企业级的数据管控团队是数据管控的基础。角色：团队中按照管控的内容进行岗位的设置，即角色。职责：不同的角色拥有详细的工作职责。流程流程：根据管控要求建立可执行工作流程，并严格执行工作流程。规范：企业的各工作岗位有数据管控团队制订的工作规范。制度：企业须建立数据管控的制度。技术平台：数据管控团队的工作必须建立在自动化的高效的信息平台。接口：企业的信息系统之间应按照数据管控接口规范进行交互。模板：信息系统向数据管控平台提交数据可以通过标准模板。 Confidential数据管控特点企业的分析型应用发展到一定的成熟度，就能发现数据管控的价值。数据管控是跨系统、跨部门的管理。数据管控必须有先进的管理方法论支持。数据管控是需要长期的、渐进式的工作。数据仓库是执行数据管控理想的平台。 Confidential企业级数据管控环境数据管控部门人员数据管控部门人员流程标准服务人员人员流程流程标准系统A符合业界规范的双向数据管控系统统一的数据管控系统数据A数据B系统n系统A系统B系统n非系统系统A系统A系统B系统B系统B系统n系统n企业数据管控成熟度成熟度1：未知级成熟度2：被动级成熟度4：预测级成熟度3：主动级 Confidential数据管控成熟度模型我们建立了企业数据管控成熟度模型，该模型能够使企业识别和量化数据管控的成熟度，为企业的下一步数据管控提供指导。你的企业处在哪一级？Unaware：未知的Reactive：被动的Proactive：能动的Predictive：预测的回报风险人员、流程、技术的整合程度 Confidential用户层模型层应用层数据层访问层数据管控平台架构应用开发管理安全登录浏览搜索管理下载分析加工控制批量数据管控平台 B/S应用数据管控平台 C/S应用需求开发信息调研SDM元数据数据标准数据质量需求管理数据安全灵活查询MVC业务单元独立单元系统管理版本控制ETL开发测试 Application Platform (TAP)工作模板 DatabaseAdminETL数据管控知识库MartPDMDQDSETLDBCStageMetadataDBADDLSQLSource DataExcelXMLPerl数据管控平台应用业务应用数据管控门户数据管控的统一的登录网站，下列的数据管控系统均部署在数据管控门户上元数据元数据是数据管控的IT基础，包含业务元数据和技术元数据。建立企业级的元数据管理平台，支持双向的、动态的元数据。数据质量企业级的数据质量管理平台，拥有统一的检查规则管理、检查规则的审批流程定义，并在各业务系统上部署检查Agent程序，汇总检查结果与错误明细。数据标准数据标准管理平台，数据标准的维护与发布，标准与元数据建立对应关系。在各业务系统部署标准执行监控Agent程序，统计标准执行情况。数据安全统一的数据安全管理平台，根据与元数据的关系，定义数据在整个业务线、数据线的安全管理规则。需求管理管理需求生命周期，需求确认、需求跟踪、需求变更等内容，以及需求与开发模块之间的关系，需求与最终的接口、映射加工内容等元数据的关系。仓库资源计费通过给出资源（磁盘、CPU）的价格，计算出应用在中消耗的资源成本，以计算应用的ROI灵活查询基于B/S的灵活查询平台，能进行企业BI知识管理，数据挖掘与分析。管控知识库数据管控的培训与交流平台、支持远程网络培训、仓库WiKi、学习材料下载、BI信息发布、提供企业的BI用户交流、用户投诉与反馈等技术应用数据生命周期数据