大数据预处理技术之数据清理.pptxVIP

大数据预处理技术之数据清理

contents目录数据清理概述数据缺失处理异常值处理噪声数据处理数据标准化与归一化

01数据清理概述

数据是否准确无误，没有误差或偏差。准确性数据是否全面，没有遗漏或缺失。完整性数据是否符合规范和标准，没有矛盾或冲突。一致性数据是否最新，没有过时或陈旧。及时性数据质量定义

某些数据点缺失或不完整。缺失值异常值重复数据格式错误某些数据点明显偏离正常范围。相同或相似数据重复出现。数据格式不正确或不符合规范。数据质量问题分类

通过清理数据，可以去除异常、错误或不准确的数据，提高数据的准确性和可靠性。提高数据质量高质量的数据是进行准确分析的前提，数据清理是保证分析结果有效