数据新闻 第3章 数据清理.pptxVIP

Data Journalism数据新闻青椒小助手第3章 数据清理3.1 “脏数据”原始数据存在各种各样的问题，如篡改数据、数据不完整、数据不一致、数据重复、数据存在错误、异常数据等，这些情况我们通称为存在“脏数据”。“脏数据”的存在不仅浪费时间，而且可能导致最终分析有误。3.1.1 “脏数据”的成因篡改数据数据不完整 数据不一致 数据重复 数据存在错误 异常数据 3.1.2 “脏数据”的表现形式拼写问题如“Lawyer”、“Attorney”、“Atty”、“Counsel”或“Trial Lawyer”如“男性”、“女性”、“男”、“女”、“1”、“0”、“男人”、“女人”、“F”、“M”、“Female”和“Male”数据格式问题如“200”、“200.00”、“$200”、“20billion”、“20million”、“USD200”和“￥200”3.2 数据清理/分析工具清理“脏数据”的方式主要分为两种，一是手动清理，二是借助工具清理。ExcelOpenRefineR语言Data WranglerPython3.3 清理“脏数据”3.3.7 编辑列（Edit column）3.3.8 变换（Transpose）3.3.9 排序（Sort）3.3.10 视图（View）3.3.11 导出（Export）3.3.12 函数3.3.13 正则表达式3.3.1 安装OpenRefine环境3.3.2 创建项目（导入数据）3.3.3 主界面3.3.4 归类（Facet）3.3.5 文本过滤器（Text filter）3.3.6 编辑单元格（Edit cells）3.4 数据清理原则数据清理过程中经常会遇到各种各样的突发问题，掌握数据清理的原则和技巧可以让工作事半功倍。备份原文件抽查数据的重要性关注文本数据测试数据记录清理过程3.5 综合案例3.5.1 Excel查找重复记录3.5 综合案例3.5.2 OpenRefine清理UniversityData数据3.5 综合案例3.5.3 OpenRefine获取和解析HTML数据3.5 综合案例3.5.4 OpenRefine清理hospitals数据本章小结来源复杂的数据必须经过数据清理才能用于数据新闻的制作，本章分析了“脏数据”的成因和表现形式，列举了当下常用的数据清理工具。以OpenRefine为例重点且详细的介绍了数据清理的具体步骤和方法，总结了数据清理的五点原则，最后通过1个综合案例实践Excel数据清理，3个综合案例实现OpenRefine数据清理、获取和解析。本章习题电影票房数据集包含条记录，每条记录包含预算、制作公司、风格、制作的国家、首次上映日期、收入、电影时长、播放语言、电影名等约20个列，使用Openrefine对数据集中的“脏数据”进行数据清理。获取的数据集中包含大量的（超过50%）缺失数据，如何处理缺失数据？该数据集是否还有使用价值？为什么？Openrefine中的文本归类和自定义文本归类有何区别？如何使用？Openrefine【编辑单元格】选项中的【向下填充】和【相同空白填充】有何异同？使用的具体条件？Openrefine中的排序和固定排序是否相同？数据清理时是否需要固定数据集中的记录顺序？