清洗数据2李睿80课件讲解.pptxVIP

清洗数据2;在数据中的某个或某些特征的值是不完整的，这些值称为缺失值。

pandas提供了识别缺失值的isnull()方法以及识别非缺失值的notnull()方法，这两种方法在使用时返回的都是布尔值，即True和False。

结合sum函数、isnull()方法和notnull()方法，可以检测数据中缺失值的分布以及数据中一共含有多少缺失值。

isnull()方法和notnull()方法的结果正好相反，因此使用其中任意一个都可以识别出数据是否存在缺失值。;删除法是指将含有缺失值的特征或记录删除。

删除法分为删除观测记录和删除特征两种，它属于通过减少样本量来换取信息完整度的一种方法，是一种较为简单的缺失值处理方法。

pandas中提供了简便的删除缺失值的dropna()方法，通过控制参数，既可以删除观测记录，又可以删除特征。dropna()方法的基本使用格式如下。

;dropna()方法的常用参数及其说明。

;替换法是指用一个特定的值替换缺失值。

特征可分为数值型和类别型，两者出现缺失值时的处理方法也是不同的。

当缺失值所在特征为数值型时，通常利用其均值、中位数或众数等描述其集中趋势的统计量来代替缺失值。

当缺失值所在特征为类别型时，则选择使用众数来替换缺失值。;pandas库中提供了缺失值替换的fillna()方法，fillna()方法的基本使用格式如下。

fillna()方法的常