档案信息化研究 大数据学习PPT之2数据采集和预处理.pptVIP

大数据 o  第二章数据采集与预处理 2.1大数据采集架构 2.2数据预处理原理 2.3数据仓库与ETL工具 习题 ●20f42●  1大数据采集架构 第二章数据采集与预处理 ●2.1.1概述 如今,社会中各个机构、部门、公司、团体等正在实时不断地产生大量的信息,这些信息 需要以筒单的方式进行处理,同时又要十分准确且能迅速满足各种类型的数据(信息)需 求者。这给我们带来了许多挑战,第一个挑战就是在大量的数据中收集需要的数据,下面 介绍常用的大数据采集工具 ●3°f42●  1大数据采集架构 第二章数据采集与预处理 2.1.2常用大数据采集工具 数据采集最传统的方式是企业自己的生产系统产生的数据,除上述生产系统中的数据外, 企业的信息系统还充斥着大量的用户行为数据、日志式的活动数据、事件信息等,越来越 多的企业通过架设日志采集系统来保存这些数据,希望通过这些数据获取其商业或社会价 值 Chukwa Flume 大数据采集 Scribe Kafka ●40f42●  2.1大数据采集架构 第二章数据采集与预处理 在Fume中,外部输入称为 Source 源),系统翰出称为Sink(接收端 Channel(通道)把 Source和Sink链 接在一起。 Apache Chukwa项目与Fume有些相 类似, Chu