《大数据平台部署与应用》 项目实施课件 项目4 部署与应用Flume.pptx

部署Flume;任务描述

在使用Flume采集农村电商网站服务器日志数据之前，需要在Linux操作系统中部署Flume。本任务中，小数将基于项目2中部署的Hadoop平台，在master虚拟机上部署单机版Flume。

任务环境

已部署完全分布式Hadoop集群的CentOS7操作系统的虚拟机（主节点）。;分布式部署

分布式部署模式主要用于复杂的数据流管理或大数据量的采集任务，即数据流向复杂，如从多个数据源到多个数据存储目的地，或者是数据量较大，需要跨网络中的多个机器进行数据聚合、路由和可靠传输的数据采集任务。

分布式部署可以利用Flume的强大特性，如故障转移、负载均衡、多路径传输等，来确保