数据质量管理.pdfVIP

数据质量管理 定义： 是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可 能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动,并通过改善 和提高组织的管理水平使得数据质量获得进一步提高。 目录 1数据质量管理 2数据质量管理评估维度 3分析影响数据质量的因素 4MTC—DQM 数据质量管理的方法与步骤 一 数据质量管理 数据质量管理是循环管理过程，其终极目标是通过可靠的数据提升数据在使用中的价值, 并最终为企业赢得经济效益。 二 数据质量管理评估维度 由于数据清洗（DataCleaning)工具通常简单地被称为数据质量（Data Quality）工具， 因此很多人认为数据质量管理，就是修改数据中的错误、是对错误数据和垃圾数据进行清理. 这个理解是片面的，其实数据清洗只是数据质量管理中的一步。数据质量管理（DQM）,不 仅包含了对数据质量的改善，同时还包含了对组织的改善。针对数据的改善和管理，主要包 括数据分析、数据评估、数据清洗、数据监控、错误预警等内容;针对组织的改善和管理， 主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监 督审核机制、实施改进、评估改善效果等多个环节。 任何改善都是建立在评估的基础上，知道问题在哪才能实施改进。通常数据质量评估和 管理评估需通过以下几个维度衡量。 1 数据质量评估维度 完整性 Completeness：完整性用于度量哪些数据丢失了或者哪些数据不可用。 规范性 Conformity：规范性用于度量哪些数据未按统一格式存储. 一致性 Consistency：一致性用于度量哪些数据的值在信息含义上是冲突的。 准确性 Accuracy:准确性用于度量哪些数据和信息是不正确的，或者数据是超期的。 唯一性 Uniqueness：唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复 的。 关联性 Integration：关联性用于度量哪些关联的数据缺失或者未建立索引. 2 管理质量评估维度 配置管理 Config Managemen ：此维度用于度量数据在其生命周期内的一切资源是否 得到了控制和规范,即数据的计划、产生、变更直至消亡的过程中，与数据相关的计划、规 范、描述是否收到控制.评估指标包括：评估配置项的细化粒度、评估基线准确度和频度以 及变更流程是否合理完善等。 培训 Training:此维度用于度量数据的生产和使用者在数据生命周期内的一切活动中是 否经过了知识和技能的培训、培训效果是否满足岗位需要；受训的知识和技能是否经过审核 和确认，受训的内容是否与企业文化和价值观一致；培训流程是否合理完善等； 验证和确认 Verify Validation:此维度用于度量数据在其生命周期内是否得到验证和 确认.评估内容包括是否通过验证流程确保工作产品（数据)满足指定的要求、是否通过“确认” 流程保证工作产品（数据）在计划的环境中满足使用的要求；“验证”和“确认”的流程是否完 善; 监督和监控 Monitoring:此维度用于度量产生和使用数据的流程在数据的整个生命周期 内是否真正受控.脱离监控的信息、技术、计划、流程、制度，会导致数据质量低下.监督和 监控的流程是否完善。 三 分析影响数据质量的因素 影响数据质量的因素主要来源于四方面：信息因素、技术因素、流程因素和管理因素 信息因素：产生这部分数据质量问题的原因主要有：数据描述及理解错误、数据度量的 各种性质（如:数据源规格不统一）得不到保证和变化频度不恰当等。 技术因素:主要是指由于具体数据处理的各技术环节的异常造成的数据质量问题。数据 质量问题的产生环节主要包括数据创建、数据获取、数据传输、数据装载、数据使用、数据 维护等方面的内容. 流程因素：是指由于系统作业流程和人工操作流程设置不当造成的数据