- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
大数据工程师职业资格认证考试试卷
一、单项选择题(共10题,每题1分,共10分)
HDFS默认的块大小是?
A.64MB
B.128MB
C.256MB
D.512MB
答案:B
解析:HDFS设计时为了降低元数据管理开销并提高大文件处理效率,默认块大小自Hadoop2.x版本起调整为128MB(早期1.x版本为64MB)。选项A是旧版本默认值,C、D为常见误解值,不符合当前主流配置。
Spark中RDD的主要特性是?
A.不可变、可分区、支持惰性计算
B.可变、单分区、支持实时计算
C.不可变、单分区、支持批处理
D.可变、可分区、支持迭代计算
答案:A
解析:RDD(弹性分布式数据集)是Spark的核心抽象,其核心特性包括:不可变性(一旦创建不可修改,通过转换操作生成新RDD)、可分区(数据分布在集群多节点)、惰性计算(转换操作仅记录逻辑,行动操作触发计算)。B、C、D中“可变”“单分区”均为错误描述。
以下哪个工具主要用于实时流数据处理?
A.Hive
B.Flink
C.HBase
D.Sqoop
答案:B
解析:Flink是Apache顶级项目,专注于高吞吐、低延迟的实时流数据处理;Hive是数据仓库工具(批处理),HBase是列式存储数据库,Sqoop是关系型数据库与Hadoop的迁移工具。
Kafka中消费者组(ConsumerGroup)的核心作用是?
A.保证消息有序性
B.实现负载均衡与容错
C.管理生产者连接
D.控制消息保留时间
答案:B
解析:消费者组通过将分区分配给组内不同消费者,实现并行消费(负载均衡);当消费者故障时,分区会重新分配给其他消费者(容错)。消息有序性仅在单个分区内保证(A错误),生产者连接由Broker管理(C错误),消息保留时间由Broker配置控制(D错误)。
数据仓库(DataWarehouse)的核心特征不包括?
A.面向主题
B.实时性
C.集成性
D.非易失性
答案:B
解析:数据仓库的四大特征是面向主题(SubjectOriented)、集成(Integrated)、非易失(Non-Volatile)、时变(TimeVariant)。实时性是数据湖或流处理系统的特征(如Flink实时数仓)。
以下哪种场景最适合使用HBase?
A.高并发的OLTP场景(如用户订单查询)
B.复杂的多表关联查询(如销售统计)
C.大规模离线批处理(如日志分析)
D.实时流数据聚合(如实时PV统计)
答案:A
解析:HBase是基于HDFS的列式存储数据库,支持高并发、随机读写,适合OLTP场景(如用户订单快速查询);多表关联查询是Hive的场景(B错误),离线批处理是MapReduce/Spark的场景(C错误),实时聚合是Flink的场景(D错误)。
分布式系统中,CAP理论的“C”指?
A.一致性(Consistency)
B.可用性(Availability)
C.分区容错性(PartitionTolerance)
D.完整性(Completeness)
答案:A
解析:CAP理论中,C(Consistency)指所有节点在同一时间看到相同的数据副本;A(Availability)指请求总能得到非错误响应;P(PartitionTolerance)指系统在网络分区时仍能继续运行。
数据清洗的主要目的是?
A.减少数据量
B.提高数据质量
C.转换数据格式
D.增加数据维度
答案:B
解析:数据清洗通过处理缺失值、异常值、重复值等,提升数据的准确性、完整性和一致性(核心是提高数据质量)。减少数据量是数据抽样的目的(A错误),格式转换是ETL的步骤(C错误),增加维度是特征工程的内容(D错误)。
Spark中,以下哪个操作属于行动(Action)操作?
A.map()
B.filter()
C.reduce()
D.join()
答案:C
解析:行动操作触发实际计算并返回结果(如reduce()返回聚合值),转换操作(map、filter、join)仅记录RDD转换逻辑。
以下哪个指标用于衡量数据倾斜程度?
A.数据行数
B.分区大小方差
C.字段唯一值数量
D.数据存储成本
答案:B
解析:数据倾斜表现为部分分区数据量远大于其他分区,分区大小方差(各分区数据量的离散程度)可量化倾斜程度;数据行数(A)、唯一值数量(C)、存储成本(D)均无法直接反映倾斜。
二、多项选择题(共10题,每题2分,共20分)
以下属于Hadoop生态组件的有?
A.Hive
B.Flink
C.HBase
D.ZooKeeper
答案:ACD
解析:Hadoop生态包括HDFS(存储)、MapReduce
原创力文档


文档评论(0)