统计数据预处理的理论及方法述评.pdfVIP

第22卷第6期 统 计 与信 息 论 坛 2007年 l1月 V0l1．22 No．6 Statistics InformationForum Nov．。2007 【观点综述】 统计数据预处理的理论与方法述评 程开 明 (浙江工商大学 统计与数学学院，浙江 杭州 310018) 摘要：统计数据预处理是提升数据质量的重要阶段 ，包括数据审查、数据清理、数据转换和数据验证四大 步骤。根据处理对象的特点及每一步骤的不同目标，统计数据预处理可采用的方法包括描述及探索性分析、 缺失值处理、异常值处理、数据变换技术、信度与效度检验、宏观数据诊断等六大类。选用恰当的方法开展统 计数据预处理，有利于保证数据分析结论真实、有效。 关键词 ：数据质量；数据预处理；缺失值；异常值 ；数据诊断 中图分类号：F222 文献标识码：A 文章编号 ：1007—31l6(2007)06—0098—06 统计学是对数据进行收集、整理和分析的方法 数据两部分。统计调查数据由于调查过程中的工作 论科学。学界普遍重视对数据收集和数据分析的研 失误、被调查者不配合、抽样方法选取不当、问卷设 究，却相对忽视对数据收集之后、正式分析之前这一 计不合理等因素而存在误差。利用信息系统收集到 中间阶段的研究。该阶段一般被称为统计整理，内 的微观主体记录数据，由于数据录入、转换及数据库 容包括统计分组及统计图表的绘制 J。实际上，它 链接等过程中的失误，可能出现错误字段、记录重复 包含着更为广泛的内容，称之为统计数据预处理更 或缺失等问题。政府统计机构生产的宏观统计数 为合适。统计数据预处理直接决定着分析数据的质 据，也会因人为干扰、体制缺陷等原因而存在数据质 量，影响到统计产品的可信度及以此做出决策的科 量问题。所以，在进行正式的数据分析之前，必须开 学性，对涉及的理论和方法进行研究十分必要。基 展统计数据预处理，以便对数据质量进行诊断、评估 于此，本文从提高数据质量的角度，结合数据的不同 及提升 。 特点，开展统计数据预处理的过程、方法体系的综合 WTO和数据公布通用系统(G叻 S)的加入，要 性述评，以期对后续研究有所借鉴。 求中国统计数据的发布程序、标准与国际接轨，对数 据的可信度提出更高要求。市场体制下，政府往往 一 、 统计数据预处理的必要性 根据宏观经济运行状况而采取相应的调控措施，为 数据预处理本是数据挖掘中的一个概念，是指 保证宏观调控的科学性、准确性，反映经济运行的统 在数据挖掘前期，针对海量数据存在噪声数据、空缺 计数据务必准确、及时。信息化建设使企业的管理 数据和不一致数据等问题，所采取的一些步骤，包括 决策更加依赖于以企业信息系统为基础的决策支持 数据清理、数据集成和变换、数据归约等几个方 系统，效果如何又依赖于反映交易状况数据的质量 面[2】。对数据预处理的概念进行拓展，处理对象既 好坏。可见，宏观、微观决策的效果都依赖于数据质 包括微观企业数据、微观调查数据，又包括宏观统计 量，并且要求越来越高。但中国的宏观和微观数据 数据，便形成统计数据预处理，其范围更广、内容更 质量却不容乐观。宏观上，经过统计界的努力，世界 丰富，使用的方法也更多。 银行引用中国政府的宏观统计数据不再进