数据质量体系结构介绍.doc

数据质量体系结构介绍 作者：杜绍森 编译出处：IT1682008-05-12 09:14 数据质量管理过程是一个没有终点的过程，也没有统一架构原则。这里提供的是一种针对数据仓库项目可以简单实现的、可扩展的、一种相对比较完善的捕捉数据质量事件，同时对其进行量度和控制的方法。 　　本文提供一个在数据仓库项目的实施过程中，可增量添加的、可扩展的数据质量体系结构，它可以保证以最小的对前期投资的影响，并增加到存在的数据仓库和数据集成环境中。使用这个架构，也可以实现项目系统化的向6Sigma质量管理体系的扩展。这个架构的设计也是针对数据仓库领域缺乏的公开的、一致的说明数据质量的问题来进行组织的。 　　有三股力量已将对将数据集成、数据质量的关注呈现在组织管理层优先执行活动中。它们是：一、普遍地认为如果仅能看到数据，而无法确定其质量等级，就无法更好的管理的业务的认识，正在持续增长。绝大多数的知识工作者相信对自身的工作职能来说，数据是至关重要的;二、绝大多数的全球化的，分布式的组织机构逐步形成共识，集成分散在全球各地的业务数据是企业竞争力的必要因素;三、急剧增长法律符合性的要求也是一个重要的因素。 　　仅这三个方面的驱动力，对于强调数据质量的问题显然还并不充分。幸运的是， 还有一股强大的动力正来自除了IT部门以外的业务人员。业务人员正在逐步的认识到数据质量问题是一个严重的，需要高昂的成本的问题，这样，组织主动性地提供数据质量就有了更大的动力。但是，多数的业务人员可能并不能完全了解数据质量问题产生的原因，找到提高数据质量的方法。有时他们认为数据质量问题主要是IT部门操作层面的问题。在这样的情况下，IT部门就应该更加认识到：数据质量问题不可能仅通过IT部门来单独改善，更需要业务部门的积极、主动参与。事实上，数据质量领域一个极端的看法认为：数据质量问题几乎和IT没有任何的关联。 　　在关注数据质量时，如果仅仅要求前台的操作人员在输入数据时保持足够的细心，或要求销售人员在录入订单的客户和产品信息时保持足够的仔细显然都是不够的。我们还可以通过在数据的录入界面上附加更加严格的技术性约束来避免和修复数据的质量问题。这些方法提供了一些修复或避免数据质量问题的线索，但是在采取这些技术性措施之前，我们需要用一个更大的视野关注数据质量问题。例如：在一个零售银行，身份证号码是空白的或者是填入了一些垃圾信息。一个不错的想法是增加一个诸如必须满足999-99-9999的技术限制，系统不接受任何不满足格式约束的输入信息。在这种约束下，身份证号码可能不再为空或者任何字符数据，但前台的数据录入人员就会由于完成后续工作的需要而被强迫录入有效的身份证号码，但在并没有客户有效身份证号码的情况下，他们只好使用了自己的身份证号码。 　　1. 建立质量传统、重建运行过程 　　众所周知，如果没有来自组织高层对建立企业范围的数据质量体系的承诺，技术人员说明的数据质量问题尝试往往很难发挥作用。在日本，汽车制造商通常将控制数据质量的态度渗透到组织的各个层面，从CEO到一线的生产线人员，从而保证了其准确、高效的决策效率。为了说明管理层对建立数据质量文化的重要性，我们使用一个大型的连锁药店作为例子来说明，在这家药店，采购部门和数量庞大的供应商保持合作、供应关系。在采购部，采购助理将每一个采供来的药物录入到IT系统当中，这些信息包含大量的属性。这样采购助理会面对巨大的工作量，他们不得不评估一个小时他们可以录入多少的数据，多长时间才可以将这些信息录入完毕。同时，采购助理也没有清晰的概念，谁将使用那些数据，那些数据对那些使用者更加重要。有时，采购助理会由于明显的输入错误受到指责，但更麻烦的情况是，采购助理拿到的数据本身就是不完整或不可靠的。例如：对药物的毒性水平，没有规范化的标注，长期以来，不同的药品，不同的品类，这个指标都是各不相同的。那么，这个药店应该如何提高数据质量呢? 这里有一个9步骤的数据质量模版，它不仅可以用到这个药店，也可以应用到其他任何一个希望对数据质量进行管理的组织。这9个步骤包括： 　　● 获得来自组织高层对数据质量文化的承诺 　　● 在执行层面上，形成保证数据质量的工作流程 　　● 对提高数据录入的环境有所投资 　　● 提高应用间集成性 　　● 需要投入成本来改变存在问题的工作流程 　　● 提高end-to-end的团队理解 　　● 提升部门间的协作 　　● 公开的表彰数据质量提升的事件 　　● 提供持续的过程，不断的量度和提升数据质量 　　从上面我们可以看到，在这个药店，需要一些资金用于修改数据数据录入系统，为采购助理提供一些录入时的选择和上下文提示。公司的管理层也需要明确地强调采购助理工作的重要性，指明采购助理的工作是公司各个层面决策正确、有效性的基础。采购助理的辛勤工作应该受到来