数据质量诊断实务 .pdfVIP

数据质量诊断实务

最近，“数据经营”逐渐成为热点话题，在大数据市场中，数据质量自然而

然地吸引了很多人的注意。这里所谓的数据经营，就是将在社会或企业中产生的

大量数据加工为有价值的数据，利用他们对企业利润甚至更深一层的人类发展产

生重大意义。从2000年引入以来，企业的互联网和IT技术就飞速发展，开始将

企业的所有业务信息化。在企业层面，导入了用来统一数据的数据仓库（data

warehouse）及商务智能（businessintelligence）。但是随着环境急剧变化，

准备却不充分（特指先进技术的跟进），将不同业务中到处分散的信息系统整合

为一，由此开始产生不良数据。这样的不良数据引发了不同业务信息系统间严重

的数据重复和不一致等问题，给企业带来了巨大损失。存在这种问题的数据如果

在企业运营中持续使用，损害规模逐渐扩大只是时间问题。

数据质量是指使用的数据是否达到适当的标准以上。举个简单的例子，假设

在线购物中有个存储卖家信息的表SELLERINFO。顾客可以看到卖家的信用度和

配送所需时间等，进而购买卖家的商品。如果信息不正确，那么顾客对于表

SELLER_INFO的满意度就会大幅下降。相反，根据SELLER_INFO中存储的数据成

功购买了商品，估计对于质量的满意度就会上升。像这样的数据质量，就意味着

公司职员或顾客使用了数据库表中存储的数据，所得到的产品满意度标准。所以

企业为了使大量数据更有意义，管理和应用质量优秀的数据，应诊断数据质量，

不断努力管理，使其保持在一定水准之上。

数据质量诊断的种类有三种，对于数据库表中存储的数据值，执行质量诊断

的数据值诊断，对于数据设计构造进行的数据结构诊断，还有对于管理数据的流

程进行的数据管理流程诊断。

5.1数据值诊断

数据值诊断是以运营中的数据库表、列、关系、业务规则等为基准，分析数

据值是否有效、是否遗漏、是否唯一，还有是否违背构造完整性的数据等，导出

降低质量的问题点，对这些问题提出改善方案的质量诊断。例如，假设有符合图

5-1所示的数据库关系的表。职员表中的职员代码和部门表中的部门代码是各个

表的默认键（PRIMARYKEY），职员表和部门表通过部门代码列产生关联。

再来看职员表中用来PK的职员代码列，图5-1中，“100005”重复出现，

带有无法唯一确定的值。这里违背了识别符的唯一性。职员表的部门代码列可参

考部门表中的部门代码。但是看看职员表的“袁满”部门代码，在部门表中并无

“D05”这个值，这就违反了结构的完整性（一致性）。像这样诊断数据库表中

存储的值并找出问题，提出改善方案，对数据进行高品质维护和管理，并据此制

定业务规则叫做数据值诊断。

图5-1数据值诊断示例

数据值诊断的顺序是首先选定诊断对象，收集元数据，利用收集的元数据分

析数据文件、诊断数据值、分析文件结果、导出业务规则、进行品质测定，随后

确认错误数据及进行原因分析后、整合质量诊断结果、提出改善方案等一连串的

质量诊断流程。

在数据值诊断中处于核心的数据文件分析与犯罪心理分析官（侧写员）从事

的工作有很多相似的部分。在表现美国联邦调查局的犯罪侦查电视剧《犯罪心理》

中，坏人犯罪后，侧写员就会收集与犯罪有关的犯罪类型、社会影响、文化等所

有相关资料并进行分析。利用这些资料分析罪犯的动向和心理，提供罪犯继续犯

罪或将其抓捕的解决方案，现场人员就可以拘捕犯人。作为诊断数据值的方法，

数据文件分析也与此大为相似。所谓数据文件分析，就是以完整性、准确性、有

效性、唯一性、一致性等为标准对数据值进行调查，利用收集与数据相关的重要

信息和统计值等信息分析方法。

在进行数据文件分析前，要先选定质量诊断中使用的质量标准项目。质量标

准项目大致分为完整性、一致性、有效性、唯一性、准确性等，将这些细分就是

详细质量标准项目，如表5-2所示。进行质量诊断时，可将项目与内容互换。这

次质量诊断中，将完整性和唯一性、有效性、一致性选为质量标准进行质量诊断。

数据文件分析的进行顺序如图5-2所示。

下面介绍作为DBTool的OrangeObjectReportTool，通过它收集元数据

的例子。ObjectReportTool作为生成表和视图的定义书（report）的工具，

可以生成表目录、列目录、关系目录等定义书。元数据全部收集完毕后，分析遗

漏或不一致的