大数据清洗分析技师考试试卷及答案.docVIP

大数据清洗分析技师考试试卷及答案

一、填空题（共10题，每题1分）

1.大数据清洗的基本步骤包括数据审计、________、数据转换、数据验证等。

2.处理缺失值的常用方法有填充、删除和________。

3.Hadoop生态中用于数据清洗的工具主要有Hive和________。

4.数据质量的核心维度包括准确性、完整性、一致性、________和及时性。

5.重复数据的识别通常基于________或哈希值匹配。

6.用于文本数据清洗的常见操作有分词、去噪和________。

7.Spark中用于数据清洗的核心算子有filter、dropDuplicates和________。

8.数据脱敏的常用方法包括替换、屏蔽和________。

9.大数据清洗中，“脏数据”主要包括缺失值、重复值、________和异常值。

10.用于结构化数据清洗的Python库主要有Pandas和________。

二、单项选择题（共10题，每题2分）

1.以下哪项不属于大数据清洗的核心工具？（）

A.SparkSQLB.HiveC.MySQLD.Pig

2.处理数值型缺失值时，最常用的填充方法是（）

A.均值填充B.随机填充C.空字符串填充D.固定值填充

3.以下哪种方法适合识别重复记录？（）

A.基于单字段匹配B.基于复合关键字匹配C.基于随机数匹配D.基于空值匹配

4.Spark中删除重复行的算子是