数据预处理方法与改进的建议.pptx

数据预处理方法的研究与一些改进的建议;数据预处理的必要性; 数据预处理的常规方法;数据清洗——处理空缺值;数据清洗——处理空缺值;噪声数据的处理——分箱;噪声数据的处理——分箱;噪声数据的处理——分箱;噪声数据的处理——分箱;噪声数据的处理——分箱;熵——信息的度量（利用概率来度量）;熵——信息的度量;噪声数据的处理——分箱;噪声数据的处理——聚类;噪声数据的处理——聚类;噪声数据的处理——回归;噪声数据的处理——回归;数据集成;数据集成——模式匹配;数据集成——数据冗余;数据集成——数据值冲突;数据变换——聚集;数据变换——数据概化;数据变换——规范化;最小-最大规范化;最小-最大规范化;零-均值规范化（z-score规范化）;零-均值规范化（z-score规范化）;小数定标规范化;小数定标规范化;数据变换——属性构造;数据归约的方法;数据归约——数据??方体聚集 ;数据归约——数据立方体聚集;数据归约——数据立方体聚集;下图数据是某商场2000～2002年每季度的销售数据，对这种数据进行聚集，使结果数据汇总每年的总销售额，而不是每季度的总销售额。;数据归约——维归约;维归约——选择相关属性子集;数据归约——数据压缩;利用分箱方法对数据分布情况进行近似;优点：获取样本的时间仅与样本规模成正比 方法： 不放回简单随机抽样 放回简单随机抽样 聚类抽样：先聚类，再抽样 分层抽样：先分层，再抽样 ; 数据归约——离散化与概念分层生成; 数据归约——概念分层生成;数据预处理方法的一些改进;对数据预处理方法的分析与思考;不同阶段中相同的预处理方法;不同阶段中相同的预处理办法;归纳;预处理中的统计方法;思考;传统统计学VS数据挖掘;数据挖掘VS数理统计;一些归纳;对数据预处理方法整体改进意见