处理重复数据财务大数据技术基础05课件.pptxVIP

处理重复数据财务大数据技术基础江西应用技术职业学院温世杰

课程导学在财务数据处理中，重复数据可能导致企业财务报表失真，影响决策。例如，某企业因系统故障导致销售数据重复录入，最终导致财务分析出现偏差，影响了企业的战略规划。数据的准确性是财务工作的生命线，重复数据的处理体现了财务人员的责任心和诚信。诚信为本：财务数据的准确性是企业诚信的体现。责任担当：财务人员应确保数据的唯一性和准确性，为企业的健康发展保驾护航。

学习目标知识目标

1.掌握重复数据产生的原因。

2.掌握使用duplicated()和drop_duplicates()函数处理重复数据。技能目标

1.能够独立检测和删除数据集中的重复数据。

2.能够根据实际需求选择合适的处理方式。思政目标

1.培养学生对数据准确性的重视，增强责任心。

2.强化诚信意识，树立正确的财务职业道德观。

重复数据的产生原因数据录入错误系统故障数据合并时未正确处理

检测重复数据——duplicated（）函数duplicated()函数用于检查数据中的重复行或重复值，并返回一个布尔值序列。默认情况下，它会标记重复的行（或列），并将第一个出现的行标记为False，后续重复的行标记为True。示例代码：

统计重复数据——value_counts()函数结合duplicated()函数，可以通过统计每个值的出现次数来帮助我们了解数据中的重复情况。通过筛选value_counts()的结果，可以轻松找出重复值及其出现次数。示例代码：df.duplicated().value_counts()

删除重复数据——drop_duplicates()函数重复数据是否需要被删除，需要对重复数据产生的原因、数量以及留存下来的意义加以考量。但大部分情况下，重复数据会加大数据分析的计算量且可能对数据分析的结果产生影响，因此，可以利用drop_duplicates()函数直接进行删除。

-示例代码：df.drop_duplicates(inplace=True)

实战演练，录屏

课程小结重点回顾：1.如何检测重复数据2.如何统计重复数据3.如何删除重复数据思政提炼：数据准确性提升，财务分析结果更加可靠。数据处理的严谨性体现了财务人员的专业素养和诚信意识。

课后思考知识技能题：

如果数据集中存在重复数据，但重复数据具有特殊意义（如多次购买记录），应该如何处理？思政开放题：

在财务数据处理中，如何通过数据的准确性体现财务人员的职业道德？

THEENDTHANKS