数据清洗的方法和流程PPT.pptxVIP

主讲教师：张鑫浙江经贸职业技术学院数据采集与处理数据清洗的方法和过程

案例导入数据清洗的定义数据清洗的方法数据清洗的流1、案例导入小明在一家大型的电商企业做数据分析师工作，近期，他接到一个要分析企业销售额为什么会下降的任务，首先，小明通过外部以及内部数据采集工具对销售相关数据进行了采集，但是，他发现采集得到的数据中，有些是重复的，有些数据明显不对，比如，客户的年龄是300岁，产品的价格是-10，诸如此类，在进行数据分析之前，小明要对这些“脏”数据进行清洗，可如何进行数据清洗呢？

2、数据清洗的定义对“脏”数据的处理就称为数据清洗。它是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

3、数据清洗的方法缺失数据01错误数据02重复数据03不一致数据04缺失数据01缺失的值必须手工填入，即手工清理。可以用平均值、最大值、最小值或更为复杂的概率估计代替缺失的值。重复数据03合并或者清除是消重的基本方法。错误数据02用统计分析的方法识别可能的错误值或异常值，如偏差分析、识别不遵守分布或回归方程的值，也可以用简单规则库（常识性规则、业务特定规则等）检查数据值。不一致数据04定义完整性约束，也可通过分析数据发现联系。数据清洗一般针对具体的应用，因而难以归纳统