大数据导论（第2版）-第6章-数据采集与预处理.ppt

6.2.1数据清洗的应用领域（2）数据质量管理。数据质量管理贯穿数据生命周期的全过程。在数据生命周期中，可以通过数据质量管理的方法和手段，在数据生成、使用、消亡的过程中，及时发现有缺陷的数据，然后借助数据管理手段，将数据正确化和规范化，从而达到符合要求的数据质量标准。总体而言，数据质量管理覆盖质量评估、数据去噪、数据监控、数据探查、数据清洗、数据诊断等方面，而在这个过程中，数据清洗是决定数据质量好坏的重要因素。6.2.2数据清洗的实现方式数据清洗按照实现方式，可以分为手工清洗和自动清洗。（1）手工清洗。手工清洗是通过人工方式对数据进行检查，发现数据中的错误。这种方式比较简单，只要投