《大数据平台部署与应用》 项目实施课件 任务5.2 使用Kafka订阅农村电商网站服务器日志数据.pptx

使用Kafka订阅农村电商网站服务器日志数据;任务描述

成功部署Kafka集群后，小数需要结合Flume和Kafka来订阅农村电商网站服务器日志数据。

任务环境

已部署ZooKeeper集群、Flume（master节点）和Kafka集群的3台CentOS7操作系统的虚拟机。;目录;为了模拟实际生产环境进行系统测试，编写LinuxShell脚本定时抽取100条数据并存放至指定目录，可实现自动化测试流程。

将农村电商网站服务器日志数据access.log和extract_logs.sh脚本上传至master虚拟机的/opt/data目录下。

其中extract_logs.sh脚本用于随机从日