大数据分析与应用（初级）数据质量管理与数据清洗课件.pptx

数据质量管理与数据清洗;学习完本课程后，你将能够： 1.掌握数据质量的定义、来源和评价维度 2.学会如何识别、评估和处理数据质量问题 3.能够根据项目和数据的具体情况，使用质量控制的流程保证项目结果的有效性;课程目录;数据质量的定义;课程目录;数据质量问题的来源 ;技术、流程问题;技术、流程问题;信息、管理问题;信息、流程、管理问题;课程目录;数据质量问题分类;单源问题;单源问题;多源问题;多源问题;多源问题;课程目录;数据质量管理的必要性;数据质量管理的必要性;课程目录;数据质量管理标准;数据质量管理标准的6个维度;数据质量管理标准的使用方法;课程目录;完整性;完整性;课程目录;唯一性;唯一性;课程目录;及时性;及时性;及时性;课程目录;有效性;有效性;课程目录;准确性;准确性;课程目录;一致性;一致性;数据质量的其他维度;课程目录;数据清洗流程;数据探查;问题评估;实施清洗;课程目录;重复值清洗;重复值清洗;重复值清洗;重复值清洗;重复值清洗;课程目录;缺失值填充;缺失值填充;课程目录;异常值发现与修复;异常值发现与修复;异常值发现与修复;数据质量的长期保持;课程目录;数据规约;数据规约：维度规约;数据规约：维度规约;数据规约：数量规约;数据规约：数量规约;数据规约：数量规约;课程目录;数据变换;数据变换：简单函数;数据变换：简单函数;数据变换：规范化;数据变换：离散化;数据变换：离散化;数据变换：离散化;本章小结;思考题