Flume面试题及详细答案（实战完整版）.docxVIP

Flume面试题及详细答案（实战完整版）

一、基础概念类

1、什么是Flume？它的核心作用是什么？

Flume是一款开源、分布式、高可用的海量日志采集、聚合和传输系统，专门针对大数据场景下的日志数据处理设计。

核心作用主要有三点：

1.实时采集：能够实时抓取服务器、应用程序产生的各类日志、数据流；

2.聚合传输：支持对多源分散的日志数据进行汇总，统一传输到下游存储或计算组件；

3.解耦业务：将日志采集和业务系统剥离，不影响原有业务服务的性能，同时适配Hadoop、Hive、Spark等大数据组件的数据接入。

整体特点是轻量、高吞吐、容错性强，适合海量流式日志的持续传输。

2、Flume的核心组件有哪些？各自的功能是什么？

Flume最核心的三大组件为Source、Channel、Sink，三者各司其职，构成完整数据传输链路：

1.Source（数据源）：负责接收、采集外部数据流，是数据的入口。支持多种数据源类型，比如监听本地文件、端口、日志文件、Kafka等，采集到数据后会将数据封装为Event对象，写入Channel。

2.Channel（通道）：位于Source和Sink之间，是数据的临时缓存队列。主要作用是缓冲数据、削峰填谷，平衡Source采集速度和Sink输出速度的差异，避免数据丢失或阻塞。Channel是Flume容错的核心，数据被Sink成功消费前会一直