Hadoop大数据技术与项目实战 实训指导书——3.2.6Flume数据采集执行脚本及实现.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

Flume数据采集执行脚本及实现

一、任务描述

编写Flume数据采集脚本f1.sh，通过Flume将数据从本地采集到Kafka中。

二、能力目标

1.熟悉Shell命令，会编写数据采集脚本

2.掌握数据采集及消费流程

三、任务准备

1.启动HDFS服务

2.启动Zookeeper集群

3.启动Kafka集群

四、任务实施

1.创建Flume采集脚本

首先，使用cd命令进入到data_collection目录下。

[bigdata@node1opt]$cd/opt/project/offlineDataWarehouse/data_collection

然后，创建f1.sh数据采集脚本文件。

[bigdata@node1data_collection]$vimf1.sh

f1.sh脚本文件内容如下：

#!/bin/bash

flume=$FLUME_HOME

dir=/opt/project/offlineDataWarehouse/data_collection

logs=/opt/project/offlineDataWarehouse/logs

case$1in

start){

foriinnode1

do

echo启动$i采集flume

1

山西职业技术学院《Hadoop大数据技术与项目实战》

ssh$isource/etc/profile;nohup$flume/bin/flume-ngagent-n

a1-f$dir/file-flume-kafka.conf-Dflume.root.logger=INFO,LOGFILE$logs/f1.l

og21

done

};;

stop){

foriinnode1

do

echo停止$i采集flume

ssh$ips-ef|grepfile-flume-kafka|grep-vgrep|awk{print

\$2}|xargskill

done

};;

esac

使用chmod命令赋予f1.sh脚本执行权限。

[bigdata@node1data_collection]$chmodu+xf1.sh

[bigdata@node1data_collection]$ll

总用量8

-rwxrw-r--.1bigdatabigdata6682月1410:17f1.sh

-rw-rw-r--.1bigdatabigdata13811月2116:37file-flume-kafka.conf

2.查看相关进程

运行f1.sh脚本前需要node1、node2、node3三个节点均启动Zookeeper及Kafka

服务，可以使用jps命令查看已启动的进程。下面是node1节点启动的服务进程。

[bigdata@node1data_collection]$jps

124291Kafka

124419Jps

11796NameNode

117479QuorumPeerMain

11915DataNode

说明：若节点没有启动Kafka服务，则需要启动Kafka。启动方法是三台节点分别

进入到/opt/module/kafka_2.12-2.7.0目录下，使用命令bin/kafka-server-start.sh-dae

monconfig/perties启动Kafka集群。启动成功后，在node1节点使用cd命