《机器学习技术应用》课件——pro1_2_3 校园消费数据缺失值处理.pptxVIP

授课教师：赵宇项目一智慧校园消费数据分析任务二提取18级校园消费数据

模块目标：提取18级学生校园消费数据data1：18级学生基本信息data2：消费数据

任务拆解：18级学生的校园消费数据读：数据读取，查看基本内容合并：data1（18级学生基本信息）和data2（消费数据刷卡记录）查：缺失值；清洗：缺失值存：合并后的数据

模块3:校园消费数据缺失值处理任务二校园消费数据预处理

apply方法能够将函数应用于每一列。使用分组聚合进行组内计算使用apply方法聚合数据DataFrame.apply(func,axis=0,broadcast=False,raw=False,reduce=None,args=(),**kwds)参数名称说明func接收functions。表示应用于每行／列的函数。无默认。axis接收0或1。代表操作的轴向。默认为0。broadcast接收boolearn。表示是否进行广播。默认为False。raw接收boolearn。表示是否直接将ndarray对象传递给函数。默认为False。reduce接收boolearn或者None。表示返回值的格式。默认None。

data1_merge_data2数据缺失值处理missing_value_ratios=data1_merge_data2.apply(lambdax:sum(x.isnull())/len(x),axis=0)print(missing_value_ratios)data1_merge_data2.apply：合并两个数据集data1和data2，对合并后DataFrame的行或列进行处理。lambdax:sum(x.isnull())/len(x):传入参数x（代表DataFrame中的一列），计算该列中缺失值的数量（x.isnull()），然后除以列的长度（len(x)），得到缺失值的比例。axis=0:对每一列应用lambda函数。print(missing_value_ratios)打印，该变量包含了data1_merge_data2中每一列的缺失值比例。

data1_merge_data2数据缺失值处理print(删除缺失值前：,data1_merge_data2.shape)data1_merge_data2=data1_merge_data2.dropna(subset=[消费地点],how=any)print(删除缺失值后：,data1_merge_data2.shape)data1_merge_data2.dropna():删除含有缺失值的行。subset=[‘消费地点’]:在‘消费地点’列中查找缺失值。也就是说，当‘消费地点’列中存在缺失值时，则删除对应行。how=any，指定列中，只要含有缺失值，则删除该行。how=all，指定列中，所在行皆为缺失值时，则删除该行。

data1_merge_data2数据缺失值处理missing_value_ratios2=data1_merge_data2.apply(lambdax:sum(x.isnull())/len(x),axis=0)print(missing_value_ratios2)通过dropna()函数，删除含有缺失值的行。再次计算每一列的缺失值比例。可以发现全部列的缺失值比例都为零，也就是不再包含缺失值。data1_merge_data2.to_csv(task1_2_1.csv,index=False,encoding=gbk)