大数据财务分析课件 3.2Python 数据清洗.pptxVIP

大数据财务分析爱岗敬业诚实守信坚持准则提高技能廉洁自律客观公正参与管理强化服务

项目三数据清洗与处理任务二Python数据清洗

爱岗敬业诚实守信一、重复值处理对于重复值的处理，首先可以先检验是否存在重复值，然后再将重复值删除。Pandas提供了两个专门处理重复值的函数，分别是duplicated()函数和drop_duplicated（）函数.duplicated():查找重复项drop_duplicates()：删除重复项

爱岗敬业诚实守信一、重复值处理duplicated()函数：用于查找重复值，返回布尔值，将重复项标记为True,非重复项目标记为False.DataFrame.duplicated(subset=None,keep=‘first’)Subset:根据特定列识别重复项，默认使用所有列Keep:确定要标记的重复项，可选’first’、’last’、False，默认为’first’,表示标记除第一次出现的重复项，’last’表示标记除最后一次出现的重复项，False表示标记所有重复项。

廉洁自律客观公正一、重复值处理drop_duplicates（）函数：返回删除重复行的DataFrame.其语法如下：DataFrame.drop_duplicates(subset=None,keep=‘first’,inplace=False,ignore_index=False)Subset:根据特定列识别重复项，默认使用所用列Keep:确定要保留的重复项，可选可选’first’、’last’、False，默认为’first’,表示保留第一次出现的重复项，’last’表示保留最后一次出现的重复项，False表示删除所有重复项。Inplace:默认为False,True表示直接在原数据上删除ignore_index：重建索引，默认为False.

廉洁自律客观公正一、重复值处理duplicated()和drop_duplicates（）函数判断标准和逻辑是一样的，在数据清洗时，可直接使用drop_duplicates（）函数来处理重复值。

坚持准则提高技能二、缺失值处理和重复值的处理一样，在处理缺失值之前可以先检验缺失值数量，然后根据数据分析要求，选择以下常用方法进行处理：（1）删除数据：根据缺失比例删除行、列；（2）使用默认值填充：可用空字符串或数值0替换；（3）使用估算值填充：采用中位数、平均数、众数等替换；处理缺失值的函数如下：dropna()函数：删除缺失值Fillna()函数：使用指定的方法填充NA/NaN值。

参与管理强化服务二、缺失值处理dropna()函数:删除缺失值.其语法如下：DataFrame.dropna(axis=0,how=‘any’,thresh=None,subset=None,inplace=False)其中,axis,默认axis=0,表示删除包含缺失值的的行，axis=1,表示删除包含缺失值的列How,默认how=‘any’表示删除含有缺失值的所有行或列，how=‘all’表示删除全为缺失值的行业或列thresh:int,保留还能有int个非空值的行、列subset:对特定列进行缺失值删除Inplace:默认为False，True表示直接在原数据上更改

爱岗敬业诚实守信二、缺失值处理Fillna()函数：使用指定的方法填充NA/NaN值。其语法如下：DataFrame.fillna(value=None,method=None,axis=None,inplace=False,limit=None,downcast=None)Value:用于填充的值：数值、字符串、变量、字典、series、DataFrame,不能使用列表Method:填充方法：{‘backfill’,’bfill’,’pad’,’ffill’,None},默认为None,指定填充值，pad/ffill表示用前一个非缺失值填充，backfill/bfill表示用后一个非缺失值填充axis:填充缺失值所沿的轴，默认为NoneInplace:默认为False,True表示直接在原数据上填充Limit:限制填充次数

廉洁自律客观公正三、任务实战任务四利用大数据技术清洗数据表中以下内容：1.数据表中的“空格”；2.数据表中的“-”操作步骤：1.将表中的值为“-”替换为0；2.将表格中值为“空格”替换为03.将清洗结果保存至excel文件。

坚持准则提高技能三、任务实战任务五利用大数据技术清洗数据表中产品名称字段中的“/\|”.操作步骤：1.去除字符：\/*替换为空字符串2.替换字符:|替换为空格；3.将清洗结果保存为excel文件。