数据清洗数据分析数据挖掘.docxVIP

数 1.基本概念 数据清洗从名字上也看的出就是把脏的洗掉,指发现并纠正数据文件中 可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。 因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统 中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、 有的数据 相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为 脏数 据。我们要按照一定的规则把脏数据洗掉，这就是数据清洗。而数据清洗的 任务是过滤那些不符合要求的数据， 将过滤的结果交给业务主管部门，确认是否 过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整 的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同，录入后 的数据清理一般是由计算机而不是人工完成。 主要类型 残缺数据 这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、 客户的区域信息缺失、业务系统中主表与明细表不能匹配等。 对于这一类数据过 滤出来，按缺失的内容分别写入不同Excel文件向客户提交，要求在规定的时间 内补全。补全后才写入数据仓库。 折叠错误数据 这一类错误产生的原因是业务系统不够健全， 在接收输入后没有进行判断直 接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有 一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类，对于类似