智慧方案之元数据及数据质量介绍.pptxVIP

议程主要内容数据管控元数据数据相关质量问题与讨论 Confidential随着数据仓库的不断成长，你能回答下面的问题吗？源system发生变化后数据仓库到底需要修改多少程序？发生了多少次变化？从年初到现在哪些system变化最频繁？某个ETL加工程项目序到底经过多少开发人员的修改？每次改动的主要内容是什么？哪个源system的数据相关质量最好？哪个小组开发相关质量最高？哪些字段采用了公共代码？代码映射规则是什么？哪些字段是需要做变形的敏感字段？在不同环境下同步的变形策略是什么？ 企业级信息管控体系企业级信息管控战略性和策略性管控，相关项目所有权和优先次序设定数据管控界定日常持续创建、使用和废止数据的职责元数据管控用来描述如何、何时和由谁来负责数据的接收、创建、访问、修改和格式的数据数据标准数据的业务、相关技术规范性文档数据相关质量数据满足特定使用的适用度，包括完整性和业务规则遵从性数据整合对各主题进行数据清理、转换、整合和丰富的流程数据安全与隐私各业务主题对安全性和保密性的要求，包括审计能力主数据管控数据资产以及定义企业运营的关系企业级信息管控元数据管控数据相关质量数据模型业务视图主数据管控数据标准数据整合数据安全与隐私数据管控人员、流程和相关技术 数据管控实施的三个方向组织组织： 建立企业级的数据管控团队是数据管控的基础。角色：团队中按照管控的主要内容进行岗位的设置，即角色。职责：不同的角色拥有详尽的工作职责。流程流程：根据管控要求建立可执行工作流程，并严格执行工作流程。规范：企业的各工作岗位有数据管控团队制订的工作规范。制度：企业须建立数据管控的制度。相关技术整体平台：数据管控团队的工作必须建立在自动化化的高效的信息整体平台。接口：企业的信息system之间应按照数据管控接口规范进行交互。模板：信息system向数据管控整体平台提交数据可以通过标准模板。 Confidential数据管控特点企业的分析型相关应用发展到一定的成熟度，就能发现数据管控的价值。数据管控是跨system、跨部门的管控。数据管控必须有先进的管控方法论支持。数据管控是需要长期的、渐进式的工作。数据仓库是执行数据管控理想的整体平台。 Confidential企业级数据管控环境数据管控部门人员数据管控部门人员流程标准服务人员人员流程流程标准systemA符合业界规范的双向数据管控system统一的数据管控system数据A数据BsystemnsystemAsystemBsystemn非systemsystemAsystemAsystemBsystemBsystemBsystemnsystemn企业数据管控成熟度成熟度1：未知级成熟度2：被动级成熟度4：预测级成熟度3：主动级 Confidential数据管控成熟度模型我们建立了企业数据管控成熟度模型，该模型能够使企业识别和量化数据管控的成熟度，为企业的下一步数据管控提供指导。你的企业处在哪一级？Unaware：未知的Reactive：被动的Proactive：能动的Predictive：预测的回报风险人员、流程、相关技术的整合程度 Confidential用户层模型层相关应用层数据层访问层数据管控整体平台架构相关应用开发管理安全登录浏览搜索管控下载分析加工控制批量数据管控整体平台 B/S相关应用数据管控整体平台 C/S相关应用需求开发信息调研SDM元数据数据标准数据相关质量需求管控数据安全灵活查询MVC业务单元独立单元system管控版本控制ETL开发测试 Application Platform (TAP)工作模板 DatabaseAdminETL数据管控知识库MartPDMDQDSETLDBCStageMetadataDBADDLSQLSource DataExcelXMLPerl数据管控整体平台相关应用业务应用数据管控门户数据管控的统一的登录网站，下列的数据管控系统均部署在数据管控门户上元数据元数据是数据管控的IT基础，包含业务元数据和技术元数据。建立企业级的元数据管理平台，支持双向的、动态的元数据。数据质量企业级的数据质量管理平台，拥有统一的检查规则管理、检查规则的审批流程定义，并在各业务系统上部署检查Agent程序，汇总检查结果与错误明细。数据标准数据标准管理平台，数据标准的维护与发布，标准与元数据建立对应关系。在各业务系统部署标准执行监控Agent程序，统计标准执行情况。数据安全统一的数据安全管理平台，根据与元数据的关系，定义数据在整个业务线、数据线的安全管理规则。需求管理管理需求生命周期，需求确认、需求跟踪、需求变更等内容，以及需求与开发模块之间的关系，需求与最终的接口、映射加工内容等元数据的关系。仓库资源计费通过给出资源（磁盘、CPU）的价格，计算出应用在中消耗的资源