hadoop简介合编.docxVIP

1平台概述总体数据流程分为三层，如上图所示。1.1技术架构1.2存储架构2数据采集2.1批量采集针对分省公司上报的文件数据采用Ftp/SFtp接收，并采用日志采集工具Flume进行简单的数据处理后入库。由于面对的是海量数据，为满足效率要求和查询要求，在实际操作中根据数据类型、来源、日期等对数据进行归类后，在HIVE中先单独创建分区后与其他组件进行元数据同步。Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。），Store on failure（这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送），Best effort（数据发送到接收方后，不会进行确认）。(2) 可扩展性Flume采用了三层架构，分别为agent，collector和storage，每一层均可以水平扩展。其中，所有agent和collector由master统一管理，这使得系统容易监控和维护，且master允许有多个（使用ZooKeeper进行管理和负载均衡），这就避免了单点故障问题。(3) 可管理性所有agent和colletor由master统一管理，这使得系统便于维护。多master情况，Flume利用ZooKeeper和gossip，保证动态配置数据的一致性。用户可以在master上查看各个数据源或者数据流执行情况，且可以对各个数据源配置和动态加载。Flume提供了web 和shell script command两种形式对数据流进行管理。(4) 功能可扩展性用户可以根据需要添加自己的agent，collector或者storage。此外，Flume自带了很多组件，包括各种agent（file， syslog等），collector和storage（file，HDFS等）。flume的逻辑架构：正如前面提到的，Flume采用了分层架构：分别为agent，collector和storage。其中，agent和collector均由两部分组成：source和sink，source是数据来源，sink是数据去向。Flume使用两个组件：Master和Node，Node根据在Master shell或web中动态配置，决定其是作为Agent还是Collector。(1) agentagent的作用是将数据源的数据发送给collector。(2) collectorcollector的作用是将多个agent的数据汇总后，加载到storage中。它的source和sink与agent类似。(3) storagestorage是存储系统，可以是一个普通file，也可以是HDFS，HIVE，HBase，分布式存储等。(4) MasterMaster是管理协调agent和collector的配置等信息，是flume集群的控制器。高性能：单台服务器性能可达200MB/S，并可采用集群模式提升性能。线性扩展：可部署多个agent来提供服务，线性扩展非常方便。数据一致性：当节点出现故障时，日志能够被传送到其他节点上而不会丢失。2.针对数据库对接数据，采用sqoop。Sqoop 是传统数据库与Hadoop间数据同步工具，支持多种关系数据源和hive/hdfs/hbase的相互导入，同时提供了全量导入和增量数据导入的机制。数据导入：支持文本文件。支持数据追加。支持table列选取，支持数据选取。支持map数定制。支持压缩。支持将数据导入到Hive/HDFS/Hbase。数据导出：支持将数据导出到表或者调用存储过程支持insert、update模式支持并发控制通过使用map-reduce，sqoop提供了良好的并发性和容错，可以作为异构数据库同步工具。2.2回执下发文件入库全过程会有日志记录，后台回执下发服务器会根据配置策略扫描采集日志，当文件通过校验并成功入库后，回执服务器程序会将回执标示文件发送到推送端服务器。2.3数据重传导致数据接入异常的情况很多，如数据文件校验异常、数据文件未按时上传，文件损坏，网络问题等等。针对异常的多样性和复杂性，设计数据补采方案，重传分为两部分：自动补采和手动补采自动补采：当文件采集失败或者不满足校验侧率，首先会将异常文件加入自动补采队列，通过配置补采侧率，决定补采次数及时间间隔，如果自动补采成功则将采集任务从失败队列中删除。手动