第4章数据预处理63课件讲解.pptx

第4章数据预处理

数据清洗4.2

4.2.2重复值的检测与处理掌握重复值的检测方式，能够通过duplicated()方法检测数据中是否存在重复值学习目标

4.2.2重复值的检测与处理重复值是指数据集中某个或某些记录是完全相同的，产生的原因主要有机械故障或人工重复录入。概念

4.2.2重复值的检测与处理语法格式pandas中提供了一个检测重复值的方法duplicated()，该方法默认情况下会对所有数据进行检测，检测的标准为：只要一行数据与其他行数据的所有值是完全相同的，就会将其他行数据判定为重复值，并标记为True，非重复值标记为False。duplicated(subset=None