六大主流大数据采集平台架构分析_光环大数据培训要点.pdfVIP

光环大数据--大数据培训知名品牌 六大主流大数据采集平台架构分析_光环大数据培训 光环大数据培训机构，随着大数据越来越被重视，数据采集的挑战变的尤为突出。 今天为大家介绍几款数据采集平台：  Apache Flume  Fluentd  Logstash  Chukwa  Scribe  Splunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包括以下的几个过程： 数据采集--数据存储--数据处理--数据展现(可视化，报表和监控) 光环大数据 光环大数据--大数据培训知名品牌 其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采 集的挑战也变的尤为突出。这其中包括：  数据源多种多样  数据量大  变化快  如何保证数据采集的可靠性的性能  如何避免重复数据  如何保证数据的质量 我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高 可靠，高性能和高扩展。 1、Apache Flume 光环大数据 光环大数据--大数据培训知名品牌 官网：/ Flume 是Apache 旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展 的数据采集系统。 Flume 使用JRuby 来构建，所以依赖Java 运行环境。 Flume 最初是由Cloudera 的工程师设计用于合并日志数据的系统，后来逐渐发 展用于处理流数据事件。 Flume 设计成一个分布式的管道架构，可以看作在数据源和目的地之间有一个 Agent 的网络，支持数据路由。 光环大数据 光环大数据--大数据培训知名品牌 每一个agent 都由Source，Channel 和Sink 组成。 Source Source 负责接收输入数据，并将数据写入管道。Flume 的Source 支持HTTP，JMS， RPC，NetCat，Exec，Spooling Directory。其中Spooling 支持监视一个目录或 者文件，解析其中新生成的事件。 Channel Channel 存储，缓存从source 到Sink 的中间数据。可使用不同的配置来做 Channel，例如内存，文件，JDBC 等。使用内存性能高但不持久，有可能丢数据。 使用文件更可靠，但性能不如内存。 Sink Sink 负责从管道中读出数据并发给下一个Agent 或者最终的目的地。Sink 支持 的不同目的地种类包括：HDFS，HBASE，Solr，ElasticSearch，File，Logger 或者其它的Flume Agent。 光环大数据 光环大数据--大数据培训知名品牌 Flume 在source 和sink 端都使用了transaction 机制保证在数据传输中没有数 据丢失。 Source 上的数据可以复制到不同的通道上。每一个Channel 也可以连接不同数 量的Sink。这样连接不同配置的Agent 就可以组成一个复杂的数据收集网络。 通过对agent 的配置，可以组成一个路由复杂的数据传输网络。 光环大数据 光环大数据--大数据培训知名品牌 配置如上图所示的agent 结构，Flume 支持