《大数据》第二章 数据采集与预处理.pptxVIP

大数据BIGDATA

第二章数据采集与预处理2.12.2数据预处理原理2.3数据仓库与ETL工具习题大数据采集架构of422

2.1大数据采集架构第二章数据采集与预处理如今，社会中各个机构、部门、公司、团体等正在实时不断地产生大量的信息，这些信息需要以简单的方式进行处理，同时又要十分准确且能迅速满足各种类型的数据（信息）需求者。这给我们带来了许多挑战，第一个挑战就是在大量的数据中收集需要的数据，下面介绍常用的大数据采集工具。of4232.1.1概述

2.1大数据采集架构第二章数据采集与预处理FlumeChukwaScribleKafka大数据采集工具of4242.1.2常用大数据采集工具数据采集最传统的方式是企业自己的生产系统产生的数据，除上述生产系统中的数据外，企业的信息系统还充斥着大量的用户行为数据、日志式的活动数据、事件信息等，越来越多的企业通过架设日志采集系统来保存这些数据，希望通过这些数据获取其商业或社会价值。

2.1大数据采集架构第二章数据采集与预处理of425在Flume中，外部输入称为Source（源），系统输出称为Sink（接收端）。Channel（通道）把Source和Sink链接在一起。ApacheChukwa项目与Flume有些相类似，Chukwa继承了Hadoop的伸缩性和鲁棒性。也内置一个功能强大的工具箱，用于显示系统监控和分析结果。