[数据清洗综述.docxVIP

数据清洗研究综述随着信息处理技术的不断发展，各行各业已建立了很多计算机信息系统，积累了大量的数据。为了使数据能够有效地支持组织的日常运作和决策，要求数据可靠无误，能够准确地反映现实世界的状况。数据是信息的基础，好的数据质量是各种数据分析如OLAP、数据挖掘等有效应用的基本条件。人们常常抱怨“数据丰富，信息贫乏”，究其原因，一是缺乏有效的数据分析技术，二是数据质量不高，如数据输入错误、不同来源数据引起的不同表示方法，数据间的不一致等，导致现有的数据中存在这样或那样的脏数据。它们主要表现为：拼写问题、打印错误、不合法值、空值、不一致值、简写、同一实体的多种表示(重复)、不遵循引用完整性等。数据清洗(Data Cleaning，Data Cleansing或者Data Scrubbing)的目的是检测数据中存在的错误和不一致，剔除或者改正它们，以提高数据的质量[1]。1　数据清洗国内外研究现状数据清洗主要在数据仓库、数据库知识发现(也称数据挖掘)和总体数据质量管理这3个领域研究较多。在数据仓库研究和应用领域，数据清洗处理是构建数据仓库的第一步，由于数据量巨大，不可能进行人工处理，因此自动化数据清洗受到工商业界的广泛关注。1.1　国外研究现状国外对数据清洗的研究最早出现在美国，是从对全美的社会保险号错误的纠正开始[2]。美国信息业和商业的发展，极大地刺激了对数据清洗技术的研究，主要集中在以下4个方面。(1)检测并消除数据异常采用统计方法来检测数值型属性，计算字段值的均值和标准差，考虑每个字段的置信区间来识别异常字段和记录。将数据挖掘方法引入数据清理，如聚类方法用于检测异常记录、模型方法发现不符合现有模式的异常记录、关联规则方法发现数据集中不符合具有高置信度和支持度规则的异常数据。(2)检测并消除近似重复记录即对重复记录进行清洗。消除数据集中的近似重复记录问题是目前数据清洗领域中研究最多的内容。为了从数据集中消除重复记录，首要的问题就是如何判断两条记录是否近似重复。(3)数据的集成在数据仓库应用中，数据清洗首先必须考虑数据集成，主要是将数据源中的结构和数据映射到目标结构与域中。在这方面已经开展了大量的研究工作。(4)特定领域的数据清洗不少数据清洗方案和算法都是针对特定应用问题的，只适用于较小的范围。通用的、与应用领域无关的算法和方案较少。近年来，国外的数据清洗技术发展得很快，从市场上存在的数据清洗软件可以看出，其中包括商业上的数据清洗软件，也有大学和研究机构开发的数据清洗软件。1.2　国内研究现状目前，国内对数据清洗技术的研究还处于初级阶段。直接针对数据清洗，特别是针对中文数据清洗的研究成果并不多。大多是在数据仓库、决策支持、数据挖掘研究中，对其做一些比较简单的阐述。银行、保险和证券等对客户数据的准确性要求很高的行业，都在做各自的客户数据的清洗工作，针对各自具体应用而开发软件，而很少有理论性的成果见诸于报道。2　数据清洗的定义与对象2.1　数据清洗定义迄今为止，数据清洗还没有公认的定义，不同的应用领域对其有不同的解释。(1)数据仓库领域中的数据清洗在数据仓库领域，数据清洗定义为清除错误和不一致数据的过程，并需要解决元组重复问题。当然，数据清洗并不是简单地用优质数据更新记录，它还涉及数据的分解与重组。(2)数据挖掘领域中的数据清洗数据挖掘(早期又称为数据库的知识发现)过程中，数据清洗是第一个步骤，即对数据进行预处理的过程。各种不同的KDD和DW系统都是针对特定的应用领域进行数据清洗的。文献[3]认为，信息的模式被用于发现“垃圾模式”，即没有意义的或错误的模式，这属于数据清洗的一种。(3)数据质量管理领域中的数据清洗数据质量管理是一个学术界和商业界都感兴趣的领域。全面数据质量管理解决整个信息业务过程中的数据质量及集成问题。在该领域中，没有直接定义数据清洗过程。有些文章从数据质量的角度，将数据清洗过程定义为一个评价数据正确性并改善其质量的过程。2.2　数据清洗的对象数据清洗的对象可以按照数据清洗对象的来源领域与产生原因进行分类。前者属于宏观层面的划分，后者属于微观层面的划分。(1)来源领域很多领域都涉及到数据清洗，如数字化文献服务、搜索引擎、金融领域、政府机构等，数据清洗的目的是为信息系统提供准确而有效的数据。数字化文献服务领域，在进行数字化文献资源加工时，OCR软件有时会造成字符识别错误，或由于标引人员的疏忽而导致标引词的错误等，是数据清洗需要完成的任务。搜索引擎为用户在互联网上查找具体的网页提供了方便，它是通过为某一网页的内容进行索引而实现的。而一个网页上到底哪些部分需要索引，则是数据清洗需要关注的问题。例如，网页中的广告部分，通常是不需要索引的。按照网络数据清洗的粒度不同，可以将网络数据清洗分为两类，即Web页面级别的数据清洗和基于页面