《数据分析》课件——任务4.1 数据清洗.pptxVIP

任务4.1数据清洗Python数据分析

学习目标及重难点学习目标：了解数据清洗的概念素养目标：了解数据质量对数据分析重要性学习重点：掌握脏数据的处理方法

目录学习内容1.数据清洗概念2.python中脏数据清洗的函数介绍

01数据清洗概念

1.数据清洗概念数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。数据清洗（Datacleansing/Datacleaning/Datascrubbing）可以有多种表述方式，其定义依赖于具体的应用。因此，数据清洗的定义在不同的应用领域不完全相同。目前业界一般认为，数据清洗的含义是检测和去除数据集中的噪声数据和无关数据，处理遗漏数据，以及去除空白数据域和知识背景下的白噪声。

1.数据清洗概念数据清洗是一项复杂且繁琐的工作，同时也是整个数据分析过程中最为重要的环节（如下图）。其目的在于提高数据质量，将脏数据清洗干净，使原数据具有完整性、唯一性、权威性、合法性、一致性等特点。

2.数据质量从适用性的角度来看，数据质量是一个相对的概念（与决策有关）。对于不同的决策者，大家对数据质量的高低要求也是不同的。对于一个无关的数据，即使质量很高，对决策也起不到任何作用。数据质量通俗定义例如，一个医院的病人基本信息通常包括姓名、年龄、血型、身