Hadoop数据收集与入库系统Flume与Sqoop.pdf

小象科技 让你的数据产生价值 Hadoop数据收集与入库系统 Flume与Sqoop 讲师：董西成 小象科技 让你的数据产生价值 主要内容 1. 背景介绍 2. Hadoop数据收集系统 3. 传统数据库与Hadoop间数据同步 4. 总结 小象科技 让你的数据产生价值 主要内容 1. 背景介绍 2. Hadoop数据收集系统 3. 传统数据库与Hadoop间数据同步 4. 总结 小象科技 让你的数据产生价值 背景介绍 ? Hadoop提供了一个中央化的存储系统： ?有利于进行集中式的数据分析与数据共享 ? Hadoop对存储格式没有要求： ?用户访问日志； ?产品信息 ?网页数据等 ?如何将数据存入Hadoop： ?数据分散在各个离散的设备上 ?数据保存在传统的存储设备和系统中 小象科技 让你的数据产生价值 常见的两种数据来源 ?分散的数据源： ?机器产生的数据； ?用户访问日志; ?用户购买日志; ?传统系统中的数据： ?传统关系型数据库:MySQL、Oracle等; ?磁盘阵列; ?磁带. 小象科技 让你的数据产生价值 Hadoop收集和入库基本要求 ?分布式 ? 数据源多样化 ? 数据源分散 ?可靠性 ?保证不丢数据 ?允许丢部分数据 ? 可扩展 ?数据源可能会不断增加 ? 通过并行提高性能 小象科技 让你的数据产生价值 常见的Hadoop收集与入库系统 ?数据收集 ? Flume ? Kafka ? Scribe ?传统数据库与Hadoop同步 ?Sqoop 小象科技 让你的数据产生价值 主要内容 1. 背景介绍 2. Hadoop数据收集系统 3. 传统数据库与Hadoop间数据同步 4. 总结 小象科技 让你的数据产生价值 Hadoop数据收集系统—Flume ? Flume OG ? OG：“Original Generation” ? 0.9.x或cdh3以及更早版本 ? 由agent、collector、master等组件构成 ? Flume NG ? NG：“Next/New Generation” ? 1.x或cdh4以及之后的版本 ? 由Agent、Client等组件构成 ? 为什么要推出NG版本 ? 精简代码 ? 架构简化 小象科技 让你的数据产生价值 Flume OG基本架构 小象科技 让你的数据产生价值 Flume OG基本架构 小象科技 让你的数据产生价值 Agent ? 用于采集数据 ? 数据流产生的地方 ? 通常由source和sink两部分组成 ? Source用于获取数据，可从文本文件，syslog，HTTP等获 取数据； ? Sink将Source获得的数据进一步传输给后面的Collector。 ? Flume自带了很多source和sink实现 ? syslogTcp(5140) | agentSink(localhost,35853) ? tail(/etc/services) | agentSink(localhost,35853) 小象科技 让你的数据产生价值 Collector ? 汇总多个Agent结果 ? 将汇总结果导入后端存储系统，比如HDFS，HBase ? Flume自带了很多collector实现 ?collectorSource(35853) | console ?CollectorSource(35853) | collectorSink(file:///tmp/flume/collected, syslog); ?collectorSource(35853) | collectorSink(hdfs://namenode/user/flume/ ,syslog); 小象科技 让你的数据产生价值 Agent与Collector对应关系 小象科技 让你的数据产生价值 Agent与Collector对应关系 ? 可手动指定，也可自动匹配 ? 自动匹配的情况下，master会平衡collector之间的负载。 小象科技 让你的数据产生价值 问题：为什么引入Collector？ ? 对Agent数据进行汇总，避免产生过多小文件； ? 避免多个agent连接对Hadoop造成过大压力 ； ? 中