常用数据清洗工具及基本操作（下）.pptxVIP

;;3.1OpenRefine软件概述;

OpenRefine基于Java环境运行，因此是跨平台的。OpenRefine2.6版是它改名以来的第一个发行版本，目前最新版本为2.7。本书将采用GoogleRefine2.5版本进行介绍，所有OpenRefine的具体介绍和操作均是指GoogleRefine2.5。

最新版OpenRefine的下载地址为/。

GoogleRefine2.5版的下载地址为/OpenRefine/OpenRefine/releases/download/2.5/google-refine-2.5-r2407.zip。;3.2OpenRefine基本操作;在界面中，主要显示了数据集的总行数、显示选项、数据列名称和菜单、数据内容等信息。在开始剖析清理数据前，十分重要的一点是确保OpenRefine较好地载入并显示了数据：查看列名称是否被解析正确（数据显示较宽时请使用水平滑动条）、单元格类型是否正确等。默认情况下，显示的数据数目为10条，可以单击Show选项中的数值改变显示条目数量，最大值为50。下面继续介绍几种OpenRefine数据清洗???常用操作。;单元格值可以按照文本（区别大小写或者不区别）、数字、日期、布尔值排序，对每个类别有两种不同的排序方式：

qText（文本）：a～z排序或者z～a排序。

qNumbers（数字）：升序或者降序。

qDates（日期）：升序或者降序。

qBooleans（布尔值）：FALSE值先于TRUE值或TRUE值先于FALSE值。;2．透视（Facet）操作;3．聚类（Cluster）操作;3.3OpenRefine数据清洗实例操作;3.OpenRefine简介及基本操作;4.1DataWrangler软件概述;4.2DataWrangler基本操作;4.3DataWrangler数据清洗操作;5.1Hawk软件概述;;3．模块管理

系统默认提供两个模块：网页采集器和数据清洗，如图所示，双击即可加载一个新的模块。

之前配置好的模块，可以保存为任务，双击可加载一个已有任务，如图所示。;在系统状态管理区中，可对加载数据集或模块进行查看和编辑。

右击，可以对数据集进行配置、复制、删除等。也可以将数据集拖曳到下方的图标上，如拖曳到回收站，即可删除该模块，如图所示。;5.2Hawk基本操作;5.3Hawk数据清洗实例操作;此时，下方展示的是获取的HTML文本。原始网站页面如图所示。;将所有要抓取的特征字段添加进去，或是“直接单击手气不错”，系统会根据目前的属性推测其他属性，显示初步能抓取到的数据集，如图所示。;在模块列表中双击数据清洗模块，调出数据清洗设置界面，在数据清洗左侧的搜索栏中搜索“生成区间数”模块，用于设置抓取的网页范围，将该模块拖到右侧上方的栏目中，在右侧栏目中双击“生成区间数”，弹出设置窗口，设置列名为“id”，最大值填写20，生成模式默认为Append，如图所示。

将数字转换为url，搜索“合并多列”模块，拖曳到id列，将原先的数值列变换为一组url，如图所示。;拖曳“从爬虫转换”模块到当前的url，双击该模块，将刚才的网页采集器的名称，填入爬虫选择栏目中，系统就会转换出爬取的前20条数据，如图所示。以上就是简单抓取过滤出来的数据，可以看到数据中有出现重复、错误以及列名错误等情形，需要进行清洗操作。

;;;