探讨数据质量管理未来发展.docVIP

探讨数据质量管理未来发展 　　摘 要：数据质量管理是信息系统管理的重要内容之一，决定一个信息系统项目的成败，良好的数据质量有助于得出正确的企业决策信息，正确的企业决策信息能帮助企业在激烈的市场竞争中突围而出。本文先简单介绍数据质量管理和目前数据管理方法，再从如何解决现今数据质量管理中存在问题阐述了笔者对于数据质量管理的未来发展方向――数据质量认证的探讨。 　　关键词：数据质量管理 数据质量标准 数据质量认证 未来发展 　　中图分类号：F22 文献标识码：A 文章编号：1672-3791（2017）10（b）-0242-03 　　数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。 　　数据质量管理是螺旋上升管理过程，其最终目标是通过提升数据可靠性来提升数据使用价值，并最终为企业获得经济效益。 　　目前数据质量管理常用MTC-DQM来做数据质量管理，其方法与步骤如下所述。 　　熟悉六西格玛管理的人应该知道，六西格玛强调以事实驱动管理，但事实必须以数据来支撑。反映到六西格玛管理方法，MTC-DQM推荐采用十步数据质量管理方法，见图1。 　　总的来说就是通过不断对数据循环检查整改纠正数据错误、改善数据错误管理措施，最终使数据质量螺旋上升。 　　1 现今数据质量管理中存在的常见问题 　　目前大多数企业采用MTC-DQM来做数据质量管理，其实质是做数据质量控制管理，管理思路是通过技术手段寻找出问题然后整改，然后通过改善管理，最后使数据质量“完美化”，这样的管理方法较适合于信息系统刚开始进行数据质量管理的阶段，随着信息系统的数据质量不断改善达到一个较高水平的时候就会存在以下问题。 　　（1）数据质量控制缺乏统一数据质量标准管理。 　　通常信息项目建设需求分析阶段，没有提出数据质量要求或数据质量要求很笼统，所以自然就没有统一的数据质量标准，而数据质量控制工作常在系统已建设完毕才开始，数据质量标准往往很不明确。由于数据质量标准不明确，初期数据质量整改会很顺利，但一段时间后就会容易出现盲目数据整改，越整改问题越多的现象，数据质量水平呈现出像波浪起伏一样的不稳定状态。 　　（2）数据质量管理通常是对全库数据定期检查来实现，容易造成资源浪费。 　　目前数据质量管理在实际中都是通过执行周期性检查来进行质量控制。所以常对早已验证过无问题的数据反复校验检查，导致数据质量检查花费时间过长和消耗资源过多，而且数据量越大，花费时间和消耗资源就会直线上升。这样既降低数据质量检查效率，又浪费资源，是数据质量控制急需改进的缺点，但目前只能在技术层面上做一些改进，效果也并非理想。 　　（3）数据质量控制使用的检查、整改、验证技术、方法以及工具缺乏认证。 　　现在市面流行数据质量检查、整改技术、方法以及工具都是各软件公司根据工作经验积累做出来的，并没有验证过这些技术、方法以及工具是否通用，导致使用这些技术、方法以及工具反复多次检查、整改后仍然不能确定数据是否质量合格，更严重时会出现同一数据经不同数据检查工具校验得出不同结论的情况。 　　（4）数据质量控制过度偏重于数据质量检查、整改，轻视数据录入时的质量管理。 　　数据质量控制往往过度偏重于数据质量检查和数据质量整改，基本一提起数据质量控制就出现管理部门如何编写更完善的检查脚本，执行部门如何执行整改脚本，却没有针对其他环节的管理，如加强数据标准管理、数据录入管理，加强数据整改后验证管理等。 　　2 数据质量未来发展方向――数据质量认证 　　在现今社会信息化越来越重要，企业决策信息的准确性取决于企业数据的准确性，数据质量有必要提升到一个新的高度。但系统数据规模不断膨胀，每次全面的数据检查花费的时间由原来的小时级发展到现在的日级，未来很可能会达到周级、月级，其耗费的资源更是增长的令人难以忍受。传统的数据质量管理方法（数据质量控制）日益无法适应新的需求。针对现今数据质量管理存在的问题，应当转变思路由寻找问题数据转变为寻找正确数据，由数据质量控制转变为数据质量认证。 　　数据质量认证就是管理确认系统数据是否符合数据质量要求的全过程，其管理思路是寻找信息系统数据中哪些数据的数据质量是符合数据质量要求的。其管理过程是先确立数据质量标准，再通过标准技术和管理手段在信息系统数据中进行数据认证找到符合数据质量要求的数据，然后对不符合数据质量要求的数据进行改良再认证不断循环该过程，最终使信息系统数据完全符合数据质量要求。其管理目标是为信息系统提供可靠的数据同时减少资源的浪费，最终为企业决