大数据分析(Python爬虫、数据清洗和数据可视化)第六章-大数据存储与清洗.pptVIP

数据仓库中的数据清洗 在一定程度上可以手工实现。通过人工检查，只要投入足够的人力物力财力，也能发现所有错误， 但效率低下。 大数据分析(Python爬虫、数据清洗和数据可视化)第六章-大数据存储与清洗全文共41页，当前为第28页。 2）数据清洗-缺省值清洗 （1）确定缺省值范围 （2）去除不需要的字段 （3）填充缺省值内容 （4）重新获取数据 大数据分析(Python爬虫、数据清洗和数据可视化)第六章-大数据存储与清洗全文共41页，当前为第29页。 3）数据清洗-格式与内容清洗 一般情况下，数据是由用户产生的，因此也可能存在格式和内容不一致的情况，所以需要在模型构建前先进行数据格式和内容的清洗。 大数据分析(Python爬虫、数据清洗和数据可视化)第六章-大数据存储与清洗全文共41页，当前为第30页。 数据清洗的工具介绍 1）OpenRefine OpenRefine是一种新的具有数据画像、清洗、转换等等功能的工具，它可以观察和操纵数据。 大数据分析(Python爬虫、数据清洗和数据可视化)第六章-大数据存储与清洗全文共41页，当前为第31页。 2）DataCleaner DataCleaner是一个简单，易于使用的数据质量的应用工具，旨在分析，比较，验证和监控数据。它能够将凌乱的半结构化数据集转换为所有可视化软件，并可以读取的干净可读的数据集。此外，Da