六款大数据采集平台的架构分析.docxVIP

PAGE 1 PAGE 1 六款大数据采集平台的架构分析  数据采集是全部数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。  随着大数据越来越被重视，数据采集的挑战变的尤为突出。今日为大家介绍几款数据采集平台： ApacheFlume Fluentd  Logstash  Chukwa  Scribe  SplunkForwarder  大数据平台与数据采集  任何完整的大数据平台，一般包括以下的几个过程： 数据采集 数据存储  数据处理  数据呈现（可视化，报表和监控）  其中，数据采集是全部数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括： 数据源多种多样 数据量大，变化快  如何保证数据采集的牢靠性的性能  如何避免重复数据  如何保证数据的质量  我们今日就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高牢靠，高性能和高扩展。  1、ApacheFlume  官网：https：///  Flume是Apache旗下的一款开源、高牢靠、高扩展、简单管理、支持客户扩展的数据采集系统。Flume使用JRu