pandas之数据清洗实例大全.pdfVIP

pandas之数据清洗实例⼤全 import pandas as pd import numpy as np # 删除/填充空值 # 在许多情况下，如果你⽤ Pandas 来读取⼤量数据，往往会发现原始数据中会存在不完整的地⽅。 # 在 DataFrame 中缺少数据的位置， Pandas 会⾃动填⼊⼀个空值，⽐如 NaN或 Null 。 # 我们可以选择⽤ .dropna() 来丢弃这些⾃动填充的值; # 或是⽤.fillna() 来⾃动给这些空值填充数据. # 删除 # 1、实例数据源（带有空值） dt_01 = {A:[1, np.nan, 3], B:[2,np.nan,np.nan], C:[4,5,6]} my_datafarme_01 = pd.DataFrame(dt_01) #print(my_datafarme_01) # 2、当你使⽤ .dropna() ⽅法时，就是告诉 Pandas 删除掉存在⼀个或多个空值的⾏（或者列）。 # 删除⾏⽤的是 .dropna(axis=0) ， # 删除列⽤的是 .dropna(axis=1) 。 # 请注意，如果你没有指定 axis 参数，默认是删除⾏。 #print(my_datafarme_01.dropna()) #print(my_datafarme_01.dropna(axis=0)) #print(my_datafarme_01.dropna(axis=1)) # 填充所有Nan # 类似的，如果你使⽤ .fillna() ⽅法，Pandas 将对这个 DataFrame ⾥所有的空值位置填上你指定的默认 值。 # ⽐如，将表中所有 NaN 替换成 20 ： #print(my_datafarme_01.fillna(20)) # 填充指定位置的Nan # 避免影响范围太⼤了，于是我们可以选择只对某些特定的⾏或者列进⾏ Nan值填充 col = [A,B] my_datafarme_01[col] = my_datafarme_01[col].fillna(10) #print(my_datafarme_01) # 同理，.dropna() 和 .fillna() 并不会永久性改变你的数据，除⾮你传⼊了 inplace=True 参数。 # 分组统计 # Pandas 的分组统计功能：可以按某⼀列的内容对数据⾏进⾏分组，并对其应⽤统计函数，⽐如求和， 平均数，中位数，标准差等等…# 例：我们可以对下⾯这数据表⽤ .groupby() ⽅法，按 Company 列进⾏ 分组，并⽤ .mean() 求每组的平均值： # 数据表 dt_01 = {Company:[GOOGLE,GOOGLE,ORACLE,ORACLE,TWITIER,TWITIER], Person:[Saa,Charlie,Amy,Vanessa,Carl,Sarah], Sales:[200, 120, 340, 124, 243, 350] } my_datafarme_02 = pd.DataFrame(dt_01) #print(my_datafarme_02) # 分组并求平均值 # 然后，调⽤ .groupby() ⽅法，并继续⽤ .mean() 求平均值： #print(my_datafarme_02.groupby(Company).mean()) # ⽤ .count() ⽅法，能对 DataFrame 中的某个元素出现的次数进⾏计数。 #print(my_datafarme_02.groupby(Company).count()) # 数据描述 # Pandas 的 .describe() ⽅法将对 DataFrame ⾥的数据进⾏分析，(只会分析数据元素列) # 并⼀次性⽣成多个描述性的统计指标，⽅便⽤户对数据有⼀个直观上的认识。 # ⽣成的指标，从左到右分别是：计数、平均数、标准差、最⼩值、(25% 50% 75%)分位数、最⼤值。 #print(my_datafarme_02.groupby(Company).describe()) # 转换显⽰样式（竖排） #print(my_datafarme_02.groupby(Company).describe().transpose()) #print(my_datafarme_02.groupby(Company).describe().transpose()) # 指定