数据清洗.数据清洗.pptVIP

数据清洗教师：亢华爱北京信息职业技术学院商务数据分析与应用专业教学资源库

目录Contents概述重复值的处理缺失值处理

1PART概述

概述数据清洗就是处理缺失数据以及清除无意义的信息。这是数据价值链中最关键的步骤。数据分析的第一步是提高数据质量垃圾数据，即使是通过最好的分析，也将产生错误的结果，并误导业务本身。因此在数据分析过程中，数据清洗占据了很大的工作量

2PART重复值的处理

重复值的处理把数据结构中行相同的数据去除(保留其中的一行)drop_duplicates()

【例4-6】数据去重：重复值的处理在上面的df中，第7行和第9行数据相同，第8和第10行数据相同，去重后，第7、9和8、10各保留一行数据。

3PART缺失值处理

缺失值处理去除数据结构中值为空的数据行dropna()对于缺失数据的处理方式有数据补齐、删除对应行、不处理等方法。

【例4-7】删除数据为空所对应的行：缺失值处理例中的2、3、5行有空值NaN,已经被删除。

缺失值处理用其他数值替代NaN。有些时候，空数据直接删除会影响分析的结果，可以对数据进行填补。df.fillna()

【例4-8】使用数值或者任意字符替代缺失值：缺失值处理如2、3、5行有空，用？替代了缺失值。

缺失值处理用前一个数据值替代NaN。df.fillna(method=‘pad’)

【例4-9】用前一个数据值替代缺失值：缺失值