课程二十一hadoop企业实战典型场景分析课件十五讲flume介绍.pdfVIP

Nginx介绍

Nginx是一款轻量级的Web服务器/反向服务器及电子邮件

（IMAP/POP3）服务器。其特点是占有内存少，并发能力

强，事实上nginx的并发能力确实在同类型的网页服务器中表现

较好。一般情况下，我们会将nginx服务器静态资源的

容器。

Nginx安装步骤

Nginx安装步骤如下：(使用yum命令安装)

1.使用root用户登录。

2.查看nginx信息，命令：yuminfonginx.

3.如果查看nginx信息提示nginx找不到，那么可以通过修改

rpm源来进行后续步骤，执行命令：rpm-ivh

4.在查看nginx信息。

5.安装，命令:yuminstallnginx。在安装过程中直接输入y。

6.启动nginx，命令：servicenginxstart

7.查看nginx的web页面。

Nginx安装步骤截图1

Nginx安装步骤截图2

Nginx安装步骤截图3

Flume介绍

Flume是Apache组织的一个提供的高可用的，高可靠的，

分布式的海量日志、聚合和传输的系统，Flume支持在日志系

统中定制各类数据发送方，用于收集数据；同时，Flume提供对数

据进行简单处理，并写到各种数据接受方（可定制）的能力。当前

Flume有两个版本，Flume0.9x版本之前的统称为Flume-og，

Flume1.X版本被统称为Flume-ng。

参考文档：

Flume-og和Flume-ng的区别

主要区别如下：

1.Flume-og中采用master结构，为了保证数据的一致性，引入

zookeeper进行管理。Flume-ng中取消了集中master机制和

zookeeper管理机制，变成了一个纯粹的传输工具。

2.Flume-ng中采用不同的线程进行数据的读写操作；在Flume-

og中，读数据和写数据是由同一个线程操作的，如果写出比较

慢的话，可能会阻塞flume的接收数据的能力。

Flume结构

Flume中以Agent为基本单位，一个agent可以包括source、

channel、sink，三种组件都可以有多个。其中source组件主要

功能是接收外部数据，并将数据传递到channel中；sink组件主

要功能是发送flume接收到的数据到目的地；channel的主要作用

就是数据传输和保存的一个作用。Flume主要分为三类结构：单

agent结构、多agent链式结构和多路复用agent结构。

单agent结构

多agent链式结构

多路复用agent结构

Source介绍

Source的主要作用是接收客户端发送的数据，并将数据发送到

channel中，source和channel之间的关系是多对多关系，不过一

般情况下使用一个source对应多个channel。通过名称区分不同的

source。Flume常用source有：AvroSource、ThriftSource、

ExecSource、KafkaSource、NetcatSource等。设置格式如下：

agent-name.sources=source_names

agent-name.sources.source_name.type指定类型

agent-name.sources.source_name.channels=channels

其他对应source类型需要的参数

Channel介绍

Channel的主要作用是提供一个数据传输通道，提供数据传输和

数据(可选)等功能。source将数据放到channel中，sink从

channel中拿数据。通过不同的名称来区分channel。Flume常用

channel有：MemoryChannel、JDBCChannel、Kafka

Channel、FileChannel等。设置格式如下：

agent-name.channels=channel_names

agent-name.channels.channel_name.type指定类型

其他对应channel类型需要的参数

Sink介绍

Sink的主要作用是定义数据写出方式，一般情况下sink从

channel中获取数据，然后将数据写出到fi