数据清洗电子教学课件.pptVIP

第六章 数据转换与加载 6.4 上机练习与实训 实训题目：客户数据的清洗转换 执行该转换，通过Preview data查看执行结果，选中CSV file input输入源，可以看到原始数据有9条，选中output bad rows，可以看到不满足条件的记录有6条，。选中output good rows，可看到满足条件的记录有3条，如图6-37所示。由于针对错误数据的处理中添加了以error_开头的错误字段，并添加了3个系统变量，所以不满足条件的记录字段个数和满足条件的字段个数不同 第六章　数据转换与加载 6.2　数据质量评估 6.3　数据加载 习题 大数据应用人才培养系列教材 1．什么是数据评估？数据评估的指标有哪些？ 2．数据检验的方法都有哪些？其各自的优缺点是什么？ 3．数据转换错误都有哪些？如何处理？ 4．结合一个实例说明数据清洗的流程包括哪些步骤，并简要说明数据清洗的主要评价标准。 5．什么是数据审计？有哪些方法？ 6．什么是数据排重？ 习题： 第七章　采集Web数据实例 7.1　网页结构 7.2　网络爬虫 7.3　行为日志采集 7.4　上机练习与实训 习题 大数据应用人才培养系列教材 7.1 网页结构 第七章 采集Web数据实例 （1）DOM简介 网页清洗的第一步是对页面结构的分析，页面结构分析在信息检索、分类、页面适应等方面都有重要作用