数据科学与工程行业案例教程 习题及答案 第2章课后习题答案.docx

第2章零售业大数据应用案例

1.Flume的原理是什么？

Flume的原理基于其核心架构组件Source、Channel和Sink，这些组件协同工作，形成一个可靠的数据流传输管道。

（1）Source作为数据的起点，负责从各种外部数据源（如日志文件、网络流、消息队列等）接收或收集数据，并将数据封装为Flume的基本传输单位——Event。

（2）Channel充当Source和Sink之间的缓冲区或临时存储容器，以事件（Event）的形式缓存数据，确保数据在传输过程中的可靠性。Channel支持多种实现，如内存（Memory）、文件系统（File）等，其事务性设计保证了数据在收发时的一