第4章 数据清洗和预处理.pptxVIP

数据清洗和预处理;;;数据处理软件系统开发步骤;4.1 数据审核;4.1 数据审核;4.1 数据审核;数据清洗的主要规则包括： 空值的检查和处理、 非法值的检测和处理、 不一致数据的检测和处理、 相似重复记录的检测和处理。;数据清洗的流程 3、;4.2 缺失值处理;4.2 缺失值处理;4.2 缺失值处理;4.2 缺失值处理;4.2 缺失值处理;4.2 缺失值处理;dropna的参数及其使用说明;4.2 缺失值处理;4.3 异常值处理;4.3 异常值处理;4.3 异常值处理;4.3 异常值处理;检测异常值的数据统计方法还有散点图、箱线图和3σ法则检测异常值。 散点图方法: 通过数据分布的散点图发现异常数据。 箱线图分析: 利用数据中的五个统计量（最小值、下四分位数、中位数、上四分位数和最大值）来描述数据。 3σ法则: 在3σ原则下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。;4.3 异常值处理;4.4 重复值处理;4.4 重复值处理;4.5 数据抽样;4.5 数据抽样;4.5 数据抽样;4.6 数据格式与值变换;4.6 数据格式与值变换;4.6 数据格式与值变换;4.6 数据格式与值变换;4.6 数据格式与值变换;4.7 数据标准化和归一化;离差标准化数据;4.7 数据标准化和归一化;4.7 数据标准化和归一化;4.7 数据标准化和归一化;4.7 数据标准化和归一化