任务三合并及清洗数据大数据技术在财务中的应用68课件讲解.pptxVIP

大数据技术在财务中的应用项目四数据预处理任务三合并及清洗数据授课人：边远达

任务四思维导图引入案例任务分析知识准备案例解析任务实训任务小结4.1匿名函数：lambda函数4.2数据运算函数：apply()函数任务四数据转换4.3删除数据：drop()函数4.4替换数据：replace()函数

任务分析引入案例引入案例与任务分析根据企业销售统计表.xlsx(位置：E:\file\)，美菱信息有限公司决定对销售人员的销售业绩进行考核和奖励，根据销售额是否超过45万，将销售人员的销售业绩定为达标和未达标。如果未达标，销售奖金为0；如果达标，销售额低于50万的销售人员的销售奖金为销售额的1%，销售额高于等于50万的销售人员的销售奖金为销售额的1.5%。财务人员小王如何在Pandas模块中实现呢？本任务利用Pandas模块中的lambda函数、apply()函数实现对DataFrame对象的逐行、逐列或逐元素的操作，实现了对数据的灵活处理，也提高了程序的运行速度。

函数分类内置函数：input()、print()、range()、len()等函数。自定义函数：将一段有特定功能的、可重复使用的代码段定义成函数，自定义函数像内置函数一样可以在需要时多次调用。匿名函数：一种特殊的自定义函数。

匿名函数语法匿名函数也称为lambda表达式说明：1.多个参数时，各参数间用逗号分隔2.lambda函数最终将表达式的计算结果返回给程序lambda[参数列表]:表达式匿名函数就是没有名称的函数，是为了实现很简单的功能而编写的一句话函数

示例匿名函数a,b是参数a+b是表达式1.匿名函数lambdaa,b:a+b，其功能是计算两个参数a与b的和。2.定义好的匿名函数不能直接使用，要用一个变量保存匿名函数，以便调用，因此将该函数赋给变量mySum。3.调用时，将mySum当做函数名来用，所以要加一对括号和参数，如第2行和第3行的调用。说明：

示例匿名函数表达式调用调用调用

数据运算函数apply()函数的功能：自动遍历整个DataFrame中的每个元素,对每个元素进行特定的函数计算示例功能：对df中所有数据求平方数据集

数据运算函数apply()要求：对df中的每个元素x先判断x的列名是否等于男，若是，则对x执行平方运算，否则还是原来的x。示例匿名函数作为apply函数的参数

删除数据_drop()函数drop()函数的功能是删除DataFrame对象中的某些行或某些列默认情况下按行删除，如果要删除列可在drop()函数括号内设置参数axis=1有如下数据集：

删除数据删除多列时，以列表形式给出要删除的列axis=1表示要删除列按列名删除上面两条删除命令都不会影响原数据集，因为drop()函数没有使用参数inplace=True。说明：

示例删除数据删除行数据集中的行索引号已经不是顺序编号了

示例重置索引_reset_index()函数删除行原来的索引还在

示例替换数据_replace()函数replace(替换前的值,替换后的值)数据集

示例替换数据_replace()函数将数据集中所有的0替换为500

替换数据_replace()函数要将补贴改为600元df[补贴].replace(500,600,inplace=True)提问使用下列代码可以吗？df.replace(500,600,inplace=True)不行：该代码表示对数据集df中所有的500进行替换，而数据集中不止补贴列有500这样的值，收益列也有500。

案例解析第一步:读入销售统计表.xlsx（位置：D:\file\）结论：从图1-2得出，通过使用pandas库的read_excel()函数，成功读取了位于D:\file路径下的销售统计表.xlsx文件，并将数据存储在DataFrame中。随后通过head()方法查看了数据集的前5行内容，确认了数据包含工号、姓名、销售部门和销售额四个字段，为后续的重复值检测与清洗工作做好了数据准备。图1-3读写数据图1-2读写数据

案例解析第二步：根据销售额进行业绩评价结论：从图1-3得出，通过使用apply()函数结合lambda表达式，根据销售额是否大于450,000元的标准，在数据集中新增了业绩评价列，将所有销售记录自动划分为达标与不达标两类。通过查看前5行数据，确认了评价规则已正确应用，为后续的销售绩效分析提供了清晰的数据基础。图1-2读写数据图1-3读写数据

案例解析第三步：drop_duplicates()函数的参数keep设置为last，其他参数默认注意：运行代码请打开图标“重复值-案例