数据清洗及其在宝钢计划值系统中的应用.pdf

数据清洗及其在宝钢计划值系统中的应用 摘要 随着企业信息化的进程逐步加快，企业经营数据的管理 呈现越来越多的困难。根据“进去的是垃圾，出来的也是垃 圾”这条原理，为了支持正确决策，就要求管理的数据必须 可靠，没有错误，准确反映企业的实际情况。因此，企业数 据质量的管理受到越来越多的关注，本文主要从数据清洗的 角度进行探讨。 宝钢集团实施的计划值系统通过对基础数据(包括历史 值和当前值)的整理分析，结合实际预测未来值(即计划值 的预计值)，在跟踪分析实际值与预计值的差异原因的基础 上，找出改进管理的方向，实施管理循环。因此，计划值管 理为各项管理提供了完善管理的手段，是提高各项基础管理 的有效方法，也是实施例外管理的很好平台。但其所依赖的 基础数据存在精度过粗的问题，影响系统的正常运行，必须 应用数据清洗技术对其基础数据进行清洗处理，以解决大量 脏数据存在的问题。 本文主要从以下四个方面对数据清洗技术及其在宝钢 计划值系统中的应用做了详细的分析和研究。 第一是对数据清洗技术进行了概述，阐述了数据清洗的 来源和定义，具体介绍了数据清洗时遇到的数据质量问题以 及清沈的步骤，最后详细介绍了一种基于N—Gram的聚类算 法。 第二是讨论了宝钢计划值系统项目需求设计及部分相 关的开发设计，讨论了其中的技术难点、关键技术，针对集 团内部存在脏数据问题的特征，介绍了SAS软件中相关功能 支持的优越性，在其数据仓库系统中有专门的机制进行引入 数据的检查、核对和将不同来源数据进行整合的技术环节， 它为计划值系统中要求的数据清洗工作提供了最有力的支 持。 第三是在宝钢计划值系统中应用SAS软件先进行了一 系列简单的数据清洗工作，然后实现了一种基于欧氏距离的 聚类算法，结果表明这种算法能够满足宝钢计划值系统项目 现阶段的基本要求，较好地解决了基础数据中大量重复记录 问题。 最后本文根据目前的发展状况，提出了一些数据清洗技 术的研究方向，数据清洗的易操作性、有效性、可扩展性和 通用性等几个方面都有待我们去研究和探索。 关键词 数据清洗，数据仓库，计划值，聚类分析 IN ITSAPPLICATION AND CLEANING DATA OF SYSTEM PLANNINGⅥ～LUE THE GROUPCORPORATION BAOSTEEL ABSTRACT the oftheinformation-based with Along speedinguP in ofthe enterprises’ progressenterprises，themanagement andmore to datajs more difficult．According workinggetting to the rule order the out”，in provide of“garbagein，garbage