大数据数据清洗数据分析数据挖掘.pdfVIP

数据清洗

1.基本概念

数据清洗从名字上也看的出就是把脏的洗掉，指发现并纠正数据文件可识别的

错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库的

数据是面向某一主题的数据的集合，这些数据从多个业务系统抽取而来而且包含历史数

据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲

突的数据显然是我们不想要的，称为“脏数据。我们要按照一定的规则把脏数据洗掉

,这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交

给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数

据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不

同，录入后的数据清理一般是由计算机而不是人工完成。

折叠残缺数据

这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的

区域信息缺失、业务系统主表与明细表不能匹配等