海量数据处理-Hive数据仓库.pptVIP

FlumeNG——数据获取 1）RPC 1、在flume中 ，Avro客户端使用AVRO RPC机制可以发送一个给定的文件?Avro?源： 2、$ bin/flume-ng avro-client -H localhost -p?41414?-F /usr/logs/log.10 3、上面的命令将发送的/ usr/logs/log.10的内容到 ?flume源监听端 2）Executing commands 1、还有一个exec执行一个给定的命令获得输出的源。一个单一的输出，即“line”。回车（\ R）或换行符（\ N），或两者一起的文本。 注：Flume不支持tail做为一个源，不过可以通过exec tail。 3）Network streams Flume支持以下的机制，从流行的日志流类型读取数据 1、Avro(数据序列化系统) 2、Syslog 3、Netcat(使用TCP或UDP协议的网络连接去读写数据) FlumeNG——部署种类 1、设置多代理流程 2、合并 3、多路复用流 FlumeNG——收集tomcat日志 例子场景描述：将tomcat的日志收集到指定的目录，tomcat 安装在/opt/tomcat, 日志存放在var/log/data agent1.sources =