大数据开发工程师面试题(某大型央企)题库详解.docx

大数据开发工程师面试题(某大型央企)题库详解.docx

大数据开发工程师面试题(某大型央企)题库详解

面试问答题(共25题)

第一题

请设计一个大数据平台的监控体系,特别是针对Spark/Flink实时计算任务的健康状况、资源使用率、端到端处理时长等方面的监控方案,并请说明你选择这些监控指标的原因,以及如何将这些指标与业务指标关联起来。

答案:

我们设计的目标是构建一套全面、实时、可视化的监控体系,覆盖实时计算任务从提交到结果的全过程。

分三个阶段来详细说明监控方案:

1.任务健康状况监控

●计算任务启动/完成率

●任务失败次数、失败原因分类统计

●任务运行时长分布

●每个Stage/算子的执行状态

2.

文档评论(0)

1亿VIP精品文档

相关文档