_预处理部分地区信息案例功能实现—重复值的检查和处理._预处理部分地区信息案例功能实现—重复值的检查和处理.pptVIP

功能实现—重复值

的检查和处理教师：亢华爱北京信息职业技术学院商务数据分析与应用专业教学资源库

目录Contents重复值的检查和处理概述

1PART概述

概述由于数据都保存在csv文件中所以需要用Pandas提供的read_csv()方法，分别从“北京地区信息.csv”和天津地区信息.csv”文件中读取数据，转换成DataFrame对象展示

具体实现代码如下概述

具体实现代码如下概述

从输出的结果可以看出file_data_bjinfo对象中存在着一些重复的数据例如，行索引为0和3的数据是一样的，行索引为2和6的数据是一样的，行索引为5和9的数据也是一样的。而file_data_tjinfo对象中，行索引为9的一行中有NaN值，接下来我们逐个来解决这些问题。概述

2PART重复值的检查和处理

Pandas中使用duplicated()方法检测重复的数据只要发现有重复的数据，就会使用True标记此行数据。接下来，调用duplicated()方法检查file_data_bjinfo和flle_data_tjinfo对象。重复值的检查和处理

具体实现代码如下重复值的检查和处理

具体实现代码如下重复值的检查和处理

通过两次的输出结果可以看出，file_data_bjinfo中索引3、6、9对应的值为True,表明这几行的数据都是重复的，而file_data_tjinfo中没有重复