高中三年级全学期信息科技《数据清洗》教学课件.pptx

4.2.1数据清洗数据处理

内容概要为什么要进行数据清洗什么是数据清洗怎样进行数据的清洗

为什么要进行数据清洗？在数据采集过程中，由于各种原因导致数据分析的数据可能不完整或错误，在数据分析前需要对数据进行处理，剔除其中噪声、恢复数据的完整性和一致性后才能进行数据分析。

什么是数据清洗？重复数据的处理缺失数据的处理噪声数据的处理数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。

重复数据的处理数据库中属性值相同的记录被认为是重复记录。合并或清除是处理重复数据的基本方法。使用Pandas提供的drop_duplicates()能够删除重复数据。

缺失数据介绍缺失值是数据中经常出现的问题，会影响数据分析工作的进行，还会导致分析的偏差。

缺失数据的处理缺失值的处理包括缺失数据的识别和缺失值处理。Python中缺失值通常用NaN表示，可以使用函数isnull()判断缺失值是否存在。有缺失值返回True，否则返回False。同时可以使用函数isnull().sum()统计缺失值数量，函数返回数据文件中各字段中的缺失值个数。

探究活动1导入本地学习资源包“test4-2.xlsx”文件，判断该文件中是否有缺失值，并统计文件中的缺失值情况。

缺失数据的处理缺失值的处理包括缺失数据的识别和缺失值处理。缺失值处理常用方法有删除法、替换法、插补法等。1.删除法最简单的缺失值处理方法。删除观测样本。在Python中可通过dropna()函数移除所有含有缺失数据的行，适用于缺失值所占比例较小的情况。删除变量。适用于该变量中有较多缺失值且对研究目标影响不大的情况，通过dropna(axis=1)来实现整个变量的删除。

缺失数据的处理2.替换法数值型变量的缺失，用均值来替换变量的缺失值；非数值型变量的缺失，用中位数或者众数来替换。用fillna()函数来实现。3.插补法找到缺失值的替代值来插补是最好的办法。简单的插补法是采取前后的数据值、变量均值、中位数等来代替。

探究活动2导入本地学习资源包“test4-2.xlsx”文件，寻找其中的缺失值，并使用中位数替代身高字段中的缺失值。

噪声数据的处理噪声数据是指数据中存在着错误或者异常的数据。不可以直接删除，因为有可能正是实验需要的异常数据。常用分箱（binning）、回归（regression）、聚类（clustering）、计算机与人工相结合等方法处理。分箱对数据进行排序，利用“近邻”来光滑数据。分箱方法中，可以使用箱均值、箱中位数或箱边界等进行光滑。Python中cut函数和qcut函数来实现。回归回归函数拟合数据来光滑数据。回归包括线性回归和多元回归。使得一个属性数据预测另一个数据。聚类聚类识别的噪声数据，考察在各个属性上的值与期望之间的距离以判定引起噪声的属性，使用与属性相近的数据进行平滑。

课堂小结数据清洗的必要性。重复数据、缺失数据（重点）、噪声数据的处理方法。体验用Python语言处理缺失数据的具体操作。

课后练习导入教科书配套学习资源包“第四章\课本素材\test4-2.xlsx”文件，寻找其中的缺失值，并使用平均数替代身高字段中的缺失值。

谢谢观看