flume用户指南.docxVIP

flume1.7.0用户指南目录flume1.7.0用户指南1介绍1概述1系统需求1体系结构2设置3设置一个代理3数据摄取7多智能体流设置8整合8多路复用流9配置10定义流10配置单个组件11添加多个流在一个代理12配置一个多代理流程12扇出流13flume的来源16flume下沉49flume的渠道81flume频道选择器96flumeflume处理器98事件序列化器101flume拦截器103flume的属性111Log4J Appender112负载平衡Log4J Appender113安全114监控114JMX报告115Ganglia报告115JSON报告116自定义报告116报告指标自定义组件117工具117文件通道完整性的工具117事件验证器工具118拓扑结构设计注意事项119flume是适合你的问题吗?119流flume的可靠性119flume拓扑设计120施胶flume的部署120故障排除121代理处理失败121兼容性121跟踪121更多的样品款121组件的总结121别名约定124介绍概述Apacheflume是一个分布式、可靠和可用的系统,有效地收集、聚合和移动大量日志数据集中的数据存储从许多不同的来源。使用Apacheflume不仅限于日志数据聚合。由于数据源是可定制的,flume可以用来传输大量的事件数据包括但不限于网络流量数据,social-media-generated数据、电子邮件消息和几乎任何数据源。Apacheflume是Apache软件基金会的顶级项目。目前有两个版本可用的代码行,0.9版本。倍和1.倍。0.9文档。x追踪是可用的javascript:changelink(/cdh/3/flume/UserGuide/,EN2ZH_CN);flume0.9。x用户指南.本文档适用于1.4。x追踪。新的和现有的用户被鼓励使用1。x版本,利用可用的性能改进和配置灵活性在最新的架构。系统需求Java运行时环境(Java 1.7或更高版本所使用的内存——足够的内存配置资源,渠道或下沉所使用的磁盘空间,足够的磁盘空间配置渠道或下沉目录权限——读/写权限的目录使用的代理体系结构数据流模型flume事件被定义为一个单元的数据流有一个字节的有效载荷和一组可选的字符串属性。flume代理是一个(JVM)过程,主机组件通过事件流从外部源(hop)到下一个目的地。flume源消耗外部源事件传递给它,就象一个web服务器。外部源发送事件到flume的格式被目标flume来源。例如,Avroflume源可以用来接收Avro事件从Avro客户或其他的流flume代理发送事件从一个Avro下沉。类似的流可以使用定义节俭flume源接收事件从节俭flume或flume节俭Rpc客户机或节俭客户用任何语言编写产生的flume节俭协议。当一个flume源接收到一个事件时,它将其存储到一个或多个频道。通道是一个被动的商店,使事件,直到它被一个flume。文件通道就是一个例子——这是支持的本地文件系统。flume从通道中删除事件并将其放入一个外部存储库HDFS(通过flumeHDFSflume)或将它转发到下一个flume的flume来源代理(下一跳)流。在给定的源与汇代理运行异步事件举行的通道。复杂的流flume允许用户构建种事件流,通过多个代理才能到达最终的目的地。它还允许扇入和扇出流、上下文路由和备份线路(故障转移)失败的啤酒花。可靠性每个代理的事件在一个通道。然后事件被发送到下一个代理或终端库(比如HDFS)的流动。事件仅从一个通道后存储在渠道终端中的下一个代理或存储库。这是一个如何单跳消息传递语义在flume提供端到端流程的可靠性。flume使用事务的方法保证事件的可靠传递。源和汇封装在一个事务存储/检索,分别提供的事件放在或事务提供的通道。这确保了事件的可靠地从点对点的流。的一种流,flume从先前的啤酒花和源运行的下一跳都有他们的事务,确保数据安全存储通道的下一跳。可恢复性的事件上演在频道管理从失败中恢复。flume支持持久文件通道由本地文件系统支持。还有一个记忆频道,简单地将事件存储在内存中的队列,速度更快,但任何事件仍在内存通道代理进程死后不能恢复。设置设置一个代理flume代理配置存储在一个本地配置文件。这是一个文本文件,遵循Java属性文件的格式。配置一个或多个代理可以在相同的配置文件中指定。配置文件包含每个源的性质,flume和通道在代理人和他们是如何连接在一起形成数据流。配置单个组件每个组件(来源、flume或通道)流有一个名称,类型和设置的特定属性的类型和实例化。例如,Avro源需要一个主机名(或IP地址)和一个端口接收数据。内存通道可以最大队列大小(“能力”),和一个HDFS flume需要知道文件系统