企业数据质量管理框架的研究.docVIP

企业数据质量管理框架的研究 　　【摘要】作为一种战略资源与生产要素的数据资源正在逐渐成为社会正常运转的基础，成为企业的生命线。企业运营效率主要依赖于数据获取的可靠性和及时性，因此，数据质量成了企业的IT执行官们最关心的问题之一。本文主要研究企业的数据质量管理。首先对数据质量管理的重要性和现状进行了介绍，指出了企业中存在数据质量问题的普遍性，以及数据质量问题给企业带来的损失。然后，介绍了数据质量的有关理论，包括了质量管理的发展简史和数据质量概述，在这部分主要叙述了数据质量的概念以及其他一些和数据质量管理相关的因素。再次，探讨了企业现有的数据质量管理的方法及企业数据质量管理中存在的问题，通过对现有方法的分析对比并结合企业数据管理中存在的实际问题，选定全面数据质量管理TDQM，并在此基础上提出了数据质量管理的框架模型。最后是对该框架的介绍，该框架模型主要建立在数据清洗技术、数据仓库技术以及全面数据质量管理理论之上，意在解决企业中的数据质量问题。 　　【关键词】数据；数据质量；数据质量管理 　　【中图分类号】F830.49 【文献标识码】B 【文章编号】2095-3089（2017）35-0005-02 　　一、数据质量管理的基本理论 　　20世纪40年代以前，质量管理的主要方法就是质量检验，各个企业一般都设有专门的质量检验部门，有一支专门的质量检验队伍，通过检验来确保产品的出厂质量。这种方式可以保证出厂产品的质量，但是这是一种事后检验把关，质量状况即成事实，如果全是不合格产品，则必须全部重新制造，难以在生产过程中进行控制。而且这种方式在检验时要求全数检验，比较费时，也比较费工，成本也很高。这种方式最大的不足是发挥不了一线工人的积极性，不能使他们参与到质量管理的?^程中来。到目前为止，质量检验任是企业进行质量管理的重要手段之一。要进行数据质量的管理，首先要搞清哪些是数据质量问题。从表面上来看，这个问题很简单：只要是因为数据质量不高而造成了损失，就可以认为是数据质量问题。但是在实际的应用中，这个界限却很难划分。例如，由于缺少某项数据而导致无法得出所需的数据分析结果就不是数据质量问题。那么如何来定义这个界限呢，最简单的定义是：由于正在使用中的数据的数据质量不高而造成损失，就可以被认为是数据质量问题。这个定义的要点是正在使用的数据，即已经存储在业务系统中的数据。这个要点指出了与现有数据无关的内容，并不在数据质量管理的范围内。在实际的应用中，要进行数据质量的管理首先就要区分清楚哪些是数据质量问题。 　　二、企业数据质量管理中存在的问题 　　目前企业在数据质量管理中存在的问题，既有管理方面的也有技术方面的。存在的问题有下面一些。 　　1.数据质量问题范围划分错误 　　许多企业在管理数据出现问题时，并不能分清哪些是数据质量的问题。那么什么是数据质量问题，由于正在使用中的数据的数据质量不高而造成损失，就可以被认为是数据质量问题。这个描述为数据质量问题制定了一个前提条件：正在使用的数据，即已经存储在业务系统中的数据。在实际的工作中，企业的工作人员往往将一些与现有数据无关的内容作为数据质量问题来考虑，如找出现有系统中缺少的数据，这个不是数据质量管理要考虑的范围，但是在实际中往往会出现这种错误。如果企业搞不清数据质量问题的范围，那么就不可能真正解决数据质量问题。 　　2.数据质量的判断标准的问题 　　数据质量判断标准是：适合当前使用的数据就是高质量的数据。虽然定义很简单，但是到了实际的应用中却是很麻烦。 　　首先，什么是高质量的数据，不同的人又不同的定义。例如，对管理客户的联系信息的人来说，高质量的数据是指准确的地址、邮箱之类的客户联系信息；对于客户经理来说，高质量的数据是指准确的客户来往记录；而对于从事科学研究的人来说，高质量的数据是指清晰的描述数据之间的关联关系。这些事例不仅说明数据质量标准必须根据每一个具体的案例来定义，而且同时也说明数据质量标准都是以满足应用要求为目标的。所以实际的工作中具体定义高质量的数据时会有一定的问题。 　　其次，数据质量的标准的制度不仅仅是技术部门的事，也需要业务部门的紧密配合。数据质量标准时技术和业务协作的结果，在实际工作中，不但需要与业务部门沟通，检查业务规则的合理性和实效性，而且还要与技术部门密切合作，对数据质量业务标准涉及的每一个数据项，都进行数据质量调查，并随时在两个部门之间进行沟通协调，才有可能形成最终的数据质量标准。然而很多企业未能意识到这点，在这些企业数据质量标准的制定仅仅是技术部门的工作。 　　3.数据分散问题 　　如前所诉，在企业尤其是大型企业中一般存在许多个应用系统，企业的数据可能以多种方式存在于不同的应用系统当中，并且被不同的应用系统所维护。而这些数据中的一些是为多个