3.1数据清洗概述.pdf

大数据财务分析

主讲：谢畅

爱岗敬业诚实守信坚持准则提高技能

廉洁自律客观公正参与管理强化服务

项目三数据清洗与处理

任务一数据清洗概述

数据清洗概述

一、什么是数据清洗？

数据分析结果的优劣主要依赖于数据的优劣。我们在网上获取的数据

往往存在着许多问题，如数据缺失、数据重复、数据异常等，直接对

这些数据进行统计分析，会导致分析结论偏离实际。因此，在数据分

析之前通常需要先对数据进行清洗。

数据清洗是对数据进行重复审查和校验的过程，目的在于通过预定的清

理规则将不符合要求的数据转化为满足质量要求的数据。

爱岗敬业诚实守信

数据清洗概述

二、数据清洗主要内容

缺失值处理：删除、填充

重复值处理：删除

002

1

03

其他异常处理：数据中特殊字符

删除、数据格式更改、无法识别

数据处理、英文大小写转换等。

廉洁自律客观公正

数据清洗概述

二、数据清洗主要内容

一般在数据清洗之前，首先必须明确数据存在哪些问题，再针对各问题逐一击破

期间营业收入营业成本税金及附加销售费用管理费用财务费用

01月80，00040000NaN￥20002000.0200.0通过观察以上

DataFrame,分析数据问

12月NaNNaNNaNNaNNaNNaN题如下：

23月75,00039000NaN￥30002000.0200.01.重复行：行索引2和3、

5和6数据重复。

34月75,00039000NaN￥30002000.0200.02.缺失值：NaN部分。

45月8500045000NaN￥34002400.0200.03.存在异常符号：￥、逗

号、空格。了解问题之

56月7500045000NaN￥44002400.0NaN后，就可以进一步进行

数据清洗。

67月7500045000NaN￥44002400.0NaN

坚持准则提高技能

数据清洗概述

三、数据清洗工具