第4章数据预处理.docxVIP

第4章 数据预处理 · 数据清洗 · 数据合并 · 数据重塑 · 数据转换  学习目标 目录页 01 数据清洗 02 数据合并 03 数据重塑 04 数据转换 过渡页 01 数据清洗 02 数据合并 03 数据重塑 04 数据转换 前导 数据清洗是一项复杂且繁琐的工作，同时也是整个数据分析过程中最为重要的环节。 数据清洗的目的在于提高数据质量，将脏数据清洗干净，使原数据具有完整性、唯一性、权威性、合法性、一致性等特点。 前导 脏数据在这里指的是对数据分析没有实际意义、格式非法、不在指定范围内的数据。 空值和缺失值的处理 空值一般表示数据未知、不适用或将在以后添加数据。缺失值是指数据集中某个或某些属性的值是不完整的。 None NaN 一般空值使用None表示，缺失值使用NaN表示。 空值和缺失值的处理 Pandas中提供了一些用于检查或处理空值和缺失值的函数或方法。 使用isnull()和notnull()函数可以判断数据集中是否存在空值和缺失值。 对于缺失数据可以使用dropna()和fillna()方法对缺失值进行删除和填充。 空值和缺失值的处理 isnull()函数的语法格式如下： 上述函数中只有一个参数obj，表示检查空值的对象。 isnull()函数会返回一个布尔类型的值，如果返回的结果为True，则说明有空值或缺失值，否