信息分析实验教程：处理编PPT教学课件.pptxVIP

信息分析实验教程第二编处理编

第2章数据处理

数据预处理活动及其效果示意基础知识数据预处理的范畴数据清洗数据集成数据变换数据规约

基础知识数据预处理的必要性数据质量评估数据准确性数据完整性数据一致性数据及时性数据覆盖性数据可信性数据质量问题数据不完整数据不一致数据重复噪声

基础知识数据预处理活动简述数据清洗缺失值处理删除缺失值填补法噪声数据处理分箱聚类回归数据集成模式集成和对象匹配冗余检测数据值冲突检测与处理数据变换数据规范化数据离散化数据泛化属性构造

基础知识数据预处理活动简述数据规约维规约小波变换主成分分析数值规约参数化数据规约非参数化数据规约小波变换示意主成分分析示意

软件工具编号工具名称开发者技术特性功能简述类型1OpenRefine(GoogleRefine)谷歌跨平台；B/S架构；需要Java环境一类数据转换工具，对数据进行可视化操作处理（面向列和字段），用于数据的清洗与整合开源免费2NumPyNumPy团队Python包；跨平台用于数值型数据的清洗、缺失值处理和异常值检测处理开源免费3pandaspandas团队开源免费4plyrHadleyWickhamR包；跨平台开源免费5dplyrHadleyWickham等开源免费6tidyr开源免费7PowerQuery微软Excel插件，需要Excel用于多种数据的清洗、缺失值处理和异常值检测处理商业免费