数据清洗 数据分析 数据挖掘.docxVIP

数据清洗 1.基本概念 数据清洗从名字上也看的出就是把脏的洗掉， 指发现并纠正数据文件中可识别 的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库 中的数据是面向某一主题的数据的集合， 这些数据从多个业务系统中抽取而来而且包含 历史数据， 这样就避免不了有的数据是错误数据、 有的数据相互之间有冲突， 这些错误 的或有冲突的数据显然是我们不想要的，称为脏数据。我们要按照一定的规则把脏数 据洗掉，这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过 滤的结果交给业务主管部门， 确认是否过滤掉还是由业务单位修正之后再进行抽取。 不 符合要求的数据主要是有不完整的