经营分析系统数据质量提升的方法的研究.docVIP

经营分析系统数据质量提升的方法的研究 　　摘要：经营分析系统就像是企业发展决策的“大脑”，必须确保其数据仓库系统中数据的质量，才能保证经营分析系统所分析、发掘、展现的内容是真实、有效的数据，才能真正发挥其分析决策的用途助力企业发展。该文结合实际对企业经营分析系统的数据质量检查工作中所暴露出来的数据质量问题进行了分析，并结合问题产生的根源提出了数据质量问题的提升方法。 　　关键词：经营分析系统；数据质量；数据仓库 　　中图分类号：TP311文献标识码：A文章编号：1009-3044(2012)06-1219-02 　　Improvement Methods of Business Analysis Support System Data Quality 　　XIAO Jie 　　(China Mobile (Shenzhen) Limited , Shenzhen 518048, China) 　　Abstract: Business analysis support system is a decision-making system as the brain of the enterprises. The data quality of the data ware? house using by the analysis system is critical to ensure that the business analysis support system can maximize the power of enterprises. This paper raises the improvement methods based on the practical inspection of data quality of business analysis system that combined with the data quality issues and the root causes coming from the inspection. 　　Key words: business analysis support system, data quality, data warehouse 　　企业经营分析系统担负着数据综合分析、数据挖掘、关键业务指标监控、报表展现等与企业发展决策息息相关的重要任务，越来越多的企业将分散在各个业务支撑系统中的数据集中整合在经营分析系统当中，形成企业统一的数据中心，为经营分析、发展战略等起着重要的支撑作用。 　　随着近年来市场格局的变化以及客户需求的日趋个性化和多样化，企业发展对经营分析系统的依赖性也变得越来越强，企业决策者对经营分析系统数据仓库的数据质量问题变得更加关注。 　　 1数据质量要求 　　数据质量是数据仓库的生命，如果数据仓库中的数据毫无质量可言，那么该数据仓库就没有任何的价值[1]。企业经营分析系统的数据仓库有着复杂的数据来源，这些数据源系统多为操作性的业务支撑系统，其数据在业务定义上可能存在冲突、在表达形式上可能存在差异，这些数据源数据在装载到经营分析系统的数据仓库前要经过各式各样的传输、清洗、转换，对这样的数据进行数据质量管控并不容易。 　　早前依据对企业经营分析系统的数据仓库数据质量要求，并结合企业的数据仓库中数据的业务特征，制定了一套经营分析系统数据质量检查方案及检查规则，针对经营分析系统的基础明细数据（事实表、维表）开展了数据质量检查工作。 　　主要检查要求包括以下几点： 　　1）数据的完备性：根据系统的建设规范，逐一核对应接入经分系统的数据根据数据模型的建设情况，在数据仓库相应的事实表中存在； 　　2）数据的一致性：在事实表中的数据应该遵守维表的约束，其取值范围与维表中约定的范围一致，并且具有关联关系的事实表之间的信息应该一致； 　　3）数据的合理性：事实表中的数据应与其所在字段的业务逻辑相符，在此基础上应该避免大量的默认值填充情况，而造成数据分析价值降低；同时，具有逻辑关系的多个字段之间其数据取值应满足逻辑关系的约束； 　　4）数据的时效性：事实表中的数据应在约定的下游作业开始之前装载完毕，这一点可以从对其有依赖关系的作业运行时间或指标上报时间上来考察。 　　 2数据质量问题分析 　　通过对企业的经营分析系统进行数据质量检查，发现主要存在以下几类数据质量问题：数据缺失、无效数据、数据重复、数据不一致以及数据传输延迟。 　　1）数据缺失：事实表未建立或表字段的数据缺失； 　　2）无效数据：字段中存在大量以默认值填充的数据或无法理解的数据，甚至乱码； 　　3）数据重复：同一事实表中出现重复的记录，或同一字段在不同