数据挖掘——数据采集和数据清洗.pdfVIP

数据挖掘——数据采集和数据清洗 数据采集和数据清洗 ⼀、数据清洗 1.数据去重 （⼀）相关知识 1 pandas读取csv⽂件-read_csv() CSV为简单的⽂本格式⽂件，每⾏为⼀条⽤逗号分隔的数据。Excel保存⽂件时可以选择csv格式；在记 事本⾥输⼊内容，保存时使 ⽤.csv扩展名，也能⽣成CSV⽂件。 只要能阅读⽂本⽂件的编辑器，就能打开CSV⽂件，也可以⽤Excel把它作为电⼦表格打开。现在，我们 要⽤pandas 中的read_csv函数读取csv⽂件中的数据。这个函数有很多参数，在本关卡和接下来的关卡 中，我们将逐个介绍其中⼏个常⽤的参数。 在本关卡中，我们只需要将CSV⽂件的⽂件名作为参数即可。 import pandas as pd a=pd.read_csv(⽰例数据.csv) #此时，a就存储了⽰例数据.csv⽂件中的数据 print(a) # 输出结果如下： # 1 2 # 0 3 4 # 1 5 6 # 2 1 3 # 3 1 2 # 4 4 2 2 pandas的去重函数-drop_duplicates() pandas 中的drop_duplicates()函数是对DataFrame格式的数据，可以去掉特定列的重复⾏。 drop_duplicates()有以下参数： subset ⽤于指定需要去重的列。默认为所有列。 keep:{‘first’, ‘last’, False}. default first’ 删除重复项时是否保留其中第⼀次/最后⼀次出现的项。keep=False时不保留重复项；默认保留第⼀次出 现的项。 inplace: boolean, default False 是否保留被修改的数据副本。默认不保留副本。 ⽰例代码1 result_1=a.drop_duplicates() # 删除a中a、b列均重复的数据；保留第⼀次出现的重复数据；保留副本 print(result_1) # 输出结果如下： # a b # 0 3 4 # 1 5 6 # 2 3 1 # 3 1 2 # 4 4 2 ⽰例代码2 result_2=a.drop_duplicates(subset=b, inplace=True) # 删除a中b列重复的数据；保留第⼀次出现的重复数据；不保留副本 print(result_2) # 输出结果为None. 因为直接在a上修改，不再将修改结果传递给result_2 print(a) # 输出结果如下： # a b # 0 3 4 # 1 5 6 # 2 3 1 # 3 1 2 （⼆）本关任务 利⽤pandas将‘basketball.csv’中的数据导⼊名为dataset的DataFrame对象中，并使⽤drop_duplicates()函数对 dataset中的Date列进⾏去重，不保留副本。将去重结果dealed和dataset返回。 （三）参考代码 import pandas as pd def duplicate(): 返回值: dealed: 对dataset的Date列进⾏去重后的DataFrame类型数据，不保留副本 dataset: 初始读⼊的basketball.csv的数据 # 请在此添加代码完成本关任务 # ********** Begin *********# dataset = pd.read_csv(basketball.csv) dealed = dataset.drop_duplicates(subset=Date) # ********** End **********# # 返回dealed,dataset return dealed, dataset 2.处理空值 （⼀）相关知识 1 DataFrame中空值的表⽰ Pandas通常把空值表⽰为 NaN ，以上⼀关卡中的basketball.csv为例，当中的OT?字段和Notes字段中就有 许多空值。我们可以取出数据的前五⾏的OT?字段看⼀下DataFrame中空值的表⽰。 import pandas as pd dataset=pd.read_csv(basketball.csv) print(dataset[OT?].ix[:5]) # 输出结果为： 0 NaN 1 NaN 2 NaN 3 NaN 4 NaN 5 NaN Name: OT?, dtype: