TDH大数据平台培训_第06讲_分布式数据采集工具Flume.pdfVIP

分布式数据采集工具Flume 范 颖 捷 | 2018.04 星 环 科 技 星 环 科 技 1 Flume简介 目录 2 Flume原理 CONTENTS 3 Flume使用 1 chapter Flume简介  什么是Flume  Flume使用场景 1.1 什么是Flume Flume简介  Flume是一个分布式海量日志采集、聚合和传输系统  基本特点 • 高可用 • 基于事件的海量数据采集 • 数据流模型：Source-Channel-Sink • 事务机制保证消息传递的可靠性 • 内置丰富插件，轻松与各种外部系统集成 • Java实现，开源，优秀的系统设计 星 环 科 技 1.2 Flume使用场景 Flume简介 星 环 科 技 2 chapter Flume原理  基本概念  Flume基本组件  Flume数据流  Flume架构 2.1 基本概念 Flume原理  Event ：事件，最小数据传输单元，由Header和Body组成  Agent ：代理，JVM进程 ，最小运行单元，由Source、Channel、Sink三个基本组件构成， 负责将外部数据源产生的数据以Event的形式传输到目的地 • Source：负责对接各种外部数据源，将采集到的数据封装成Event ，然后写入Channel • Channel ：Event暂存容器，负责保存Source发送的Event ，直至被Sink成功读取 • Sink：负责从Channel读取Event ，然后将其写入外部存储，或传输给下一阶段的Agent • 映射关系：1个Source  多个Channel ，1个Channel  多个Sink，1个Sink  1个Channel 星 环 科 技 2.2 Flume基本组件 Flume原理  Source组件 • 对接各种外部数据源，将采集到的数据封装成Event ，然后写入Channel • 一个Source可向多个Channel发送Event •Flume 内置类型丰富的Source，同时用户可自定义Source 类型 Type （参数） 说明 Exec Source exec 监听Linu