大数据开发基础试卷及答案.docxVIP

大数据开发基础试卷及答案

考试时间：______分钟总分：______分姓名：______

一、选择题（每题2分，共20分。请将正确选项的字母填在括号内。）

1.下列哪个不是大数据的“V”特征？（）

A.Volume（体量）

B.Velocity（速度）

C.Variety（多样性）

D.Visibility（可见性）

2.Hadoop生态系统中，负责分布式存储的海量、可靠、廉价的文件系统的组件是？（）

A.YARN

B.MapReduce

C.Hive

D.HDFS

3.MapReduce模型中，Map阶段的输出（IntermediateKey-ValuePairs）会经过哪一过程后传递给Reduce阶段？（）

A.Shuffle

B.Sort

C.Combine

D.Partition

4.下列哪种编程语言通常不被用作Hadoop生态系统的核心组件开发语言？（）

A.Java

B.Python

C.Scala

D.C++

5.Spark中，RDD的哪些操作是“破坏性”的，会改变原始RDD的数据？（）

A.map,filter

B.mapPartitions,reduceByKey

C.transform,action

D.cache,persist

6.下列哪个组件通常不包含在Hadoop的YARN（YetAnotherResourceNegotiator）框架中？（）

A.ResourceManager

B.NodeManager

C.DataNode

D.ApplicationMaster

7.以下关于HBase的描述，哪项是正确的？（）

A.是一个分布式、可扩展的列式存储数据库

B.适合存储结构化数据，提供随机实时读/写访问

C.直接运行在HDFS之上，提供SQL查询接口

D.主要用于批处理大数据量

8.在大数据处理中，流式处理（StreamProcessing）与批处理（BatchProcessing）的主要区别在于？（）

A.处理的数据量大小

B.处理数据的速度要求

C.是否需要容错机制

D.是否需要数据持久化

9.ZooKeeper主要在分布式系统中扮演什么角色？（）

A.数据存储

B.分布式协调服务（如配置管理、命名服务、分布式锁等）

C.图计算框架

D.实时数据分析

10.下列哪个工具通常用于对存储在HDFS上的结构化或半结构化数据进行SQL查询？（）

A.Flume

B.Sqoop

C.Hive

D.SparkSQL

二、填空题（每空1分，共15分。请将正确答案填在横线上。）

1.大数据通常指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，其具有__规模__、__速度__、__多样__和__价值__四个特征。

2.HDFS采用__主从__架构，其中NameNode是主节点，负责管理文件系统的命名空间和客户端对文件的访问；DataNode是子节点，负责存储数据块。

3.MapReduce模型中，每个Map任务输出的是键值对，在传递给Reduce任务之前，会经过__Shuffle__和__Sort__两个阶段。

4.Spark的核心抽象是__ResilientDistributedDatasets(RDD)__，它是一个不可变的、可分区、可并行操作的元素集合。

5.Spark提供了两种RDD操作：一种是__转换__操作（如map,filter,reduceByKey），它生成一个新的RDD；另一种是__行动__操作（如collect,count,save），它触发实际的计算并从RDD中获取数据。

6.YARN框架将Hadoop的资源管理功能从MapReduce中分离出来，使得Hadoop能够支持__多租户__和更广泛的计算框架（如Spark,Flink等）。

7.HBase是一个构建在HDFS之上的分布式、可伸缩的、面向列的存储系统，它提供对大规模数据集的__随机__读/写访问。

8.Sqoop是一个用于在Hadoop（HDFS,Hive,HBase等）和关系型数据库（如MySQL,PostgreSQL等）之间传输数据的工具。

9.生态系统中的_