数据采集与预处理培训课件.pptVIP

全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用 大数据 刘鹏　　主编　　　　张燕　张重生　张志立　 副主编 BIG DATA 刘 鹏 全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用 大数据采集架构 of 42 3 2.1大数据采集架构 第二章 数据采集与预处理 如今，社会中各个机构、部门、公司、团体等正在实时不断地产生大量的信息，这些信息需要以简单的方式进行处理，同时又要十分准确且能迅速满足各种类型的数据（信息）需求者。这给我们带来了许多挑战，第一个挑战就是在大量的数据中收集需要的数据，下面介绍常用的大数据采集工具。 of 42 4 2.1.1概述 2.1大数据采集架构 第二章 数据采集与预处理 of 42 5 2.1.2 常用大数据采集工具 数据采集最传统的方式是企业自己的生产系统产生的数据，除上述生产系统中的数据外，企业的信息系统还充斥着大量的用户行为数据、日志式的活动数据、事件信息等，越来越多的企业通过架设日志采集系统来保存这些数据，希望通过这些数据获取其商业或社会价值。 2.1大数据采集架构 第二章 数据采集与预处理 of 42 6 在Flume中，外部输入称为Source（源），系统输出称为Sink（接收端）。Channel（通道）把Source和Sink链接在一起。 Apache Chukwa项目与Flume有些相类似，Chukwa继承了