六大主流大数据采集平台架构分析.docxVIP

PAGE 1 PAGE 1 六大主流大数据采集平台架构分析  大数据采集的挑战越来越突出。本文中我们将争论几种流行的数据收集平台，它们大都供应高牢靠和高扩展的数据收集。大多平台都抽象出了输入，输出和中间的缓冲的架构。利用分布式的网络连接，大多数平台都能实现一定程度的扩展性和高牢靠性。  随着大数据越来越被重视，数据采集的挑战变的尤为突出。今日为大家介绍几款数据采集平台：  ·ApacheFlume  ·Fluentd  ·Logstash  ·Chukwa  ·Scribe  ·SplunkForwarder  大数据平台与数据采集  任何完整的大数据平台，一般包括以下的几个过程：  数据采集--数据存储--数据处理--数据呈现(可视化，报表和监控) 图1数据采集 其中，数据采集是全部数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括：  ·数据源多种多样  ·数据量大  ·变化快  ·如何保证数据采集的牢靠性的性能  ·如何避免重复数据  ·如何保证数据的质量  我们今日就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高牢靠，高性能和高扩展。  1、Apache