Hadoop大数据技术与项目实战 实训指导书——3.2.8 Flume数据消费执行脚本及实现.pdf

Flume数据消费执行脚本及实现

一、任务描述

编写Flume数据消费脚本，统一Hadoop及Flume的guava版本，在启动消费脚本后，

Flume会从Kafka中采集数据，最后将数据存储到HDFS分布式文件系统中。

二、能力目标

1.能根据Shell命令，正确启动Flume数据消费脚本

2.了解Hadoop及Flume中guava版本的冲突问题

三、任务准备

1.启动HDFS服务

2.启动Zookeeper服务

3.启动Kafka服务

四、任务实施

1.编写数据消费脚本

切换到node2节点上，在data_collection目录下创建数据消费启动与停止的脚本f2.sh。

[bigdata@node2~]$cd/opt/project/offlineDataWarehouse/data_collection/

[bigdata@node2data_collection]$vimf2.sh

在f2.sh脚本中添加如下内容：

#!/bin/bash

flume=$FLUME_HOME

dir=/opt/project/offlineDataWarehouse/data_collection

logs=/opt/project/offlineDataWarehouse/logs

case$1in

start){

foriinnode2

do

echo启动$i消费flume

ssh$isource/etc/profile;nohup$flume/bin/flume-ngagent-na1

-f$dir/kafka-flume-hdfs.conf-Dflume.root.logger=INFO,LOGFILE$logs/f2.log

21

done

};;

stop){

foriinnode2

do

echo停止$i消费flume

ssh$ips-ef|grepkafka-flume-hdfs|grep-vgrep|awk{print\

$2}|xargskill

done

};;

esac

赋予f2.sh脚本当前用户的执行权限。

[bigdata@node2data_collection]$chmodu+xf2.sh

2.统一Hadoop及Flume的guava版本

Hadoop3.3.0中的guava版本和Flume1.9.0中的版本不一致，Hadoop3.3.0中为

guava-27.0-jre.jar，Flume1.9.0中为guava-11.0.2.jar，版本不一致会导致Flume消费脚本

在执行时报错。解决方法是首先删除Flume中的guava，然后将Hadoop中高版本的guava

复制到Flume中。

在node1、node2两个节点分别删除Flume中的guava-11.0.2.jar。

[bigdata@node1opt]$rm-rf/opt/module/flume-1.9.0/lib/guava-11.0.2.jar

[bigdata@node2opt]$rm-rf/opt/module/flume-1.9.0/lib/guava-11.0.2.jar

下面在node1、node2两个节点分别将Hadoop中guava复制到Flume中。首先进入

到Hadoop中guava所在的目录。

[bigdata@node1opt]$cd/opt/module/hadoop-3.3.0/share/hadoop/common/lib

[bigdata@node2opt]$cd/opt/module/hadoop-3.3.0/share/hadoop/common/lib/

将Hadoop中的guava复制到Flume中。

[bigdata@node1lib]$cpguava-27.0-jre.jar/opt/module/flume-1.9.0/lib

[bigdata@node2lib]$cpguav