《大数据平台部署与应用》 项目实施课件 任务4.2 使用Flume采集农村电商网站服务器日志数据.pptx

使用Flume采集农村电商网站服务器日志数据;任务描述

在成功部署Flume后，小数将配合数据采集工程师，使用搭建好的采集环境进行模拟，实时捕获农村电商网站服务器生成的日志文件access.log，并将其保存到HDFS中。

任务环境

已部署完全分布式Hadoop集群的3台CentOS7操作系统的虚拟机，且主节点已部署单机版Flume。;农村电商网站服务器生成的日志文件access.log日志文件部分数据如下。;目录;将农村电商网站服务器日志文件access.log和抽取日志的脚本文件createLog.sh上传至master虚拟机的/opt/data目录下。

createLog.sh脚本文件