大数据技术工程师岗位考试题库含答案.docxVIP

大数据技术工程师岗位考试题库含答案

一、单项选择题（每题2分，共40分）

HDFS默认的副本因子是3，其副本放置策略正确的是？

A.所有副本放在同一节点B.第一个副本放本地机架，第二个副本放同机架不同节点，第三个副本放不同机架C.三个副本分别放在三个不同机架D.副本随机分布在任意节点

答案：B

解析：HDFS默认采用机架感知策略：第一个副本通常放在客户端所在节点，第二个副本放同机架另一节点，第三个副本放不同机架。该策略在保证可靠性的同时减少了跨机架写入流量。

MapReduce中Combiner组件的主要作用是？

A.在Reduce端合并所有map输出B.在Map端进行本地聚合，减少shuffle阶段传输的数据量C.对输入数据进行切分D.将输出结果直接写入HDFS

答案：B

下列哪种文件格式是典型的列式存储格式？

A.AvroB.ParquetC.SequenceFileD.TextFile

答案：B

解析：Parquet与ORC是两种最常用的列式存储格式；Avro、SequenceFile、TextFile均为行式存储。

关于Spark中RDD的两类算子，下列说法正确的是？

A.action算子懒执行，transformation算子立即执行B.transformation