FlumeHDFSSink使用及源码分析.pdfVIP

FlumeHDFSSink使⽤及源码分析 HDFS Sink介介绍绍 Flume导⼊数据HDFS，⽬前只⽀持创建序列化 （sequence）⽂件和⽂本 （text）⽂件。 ⽀持这两个⽂件的压缩。⽂件可以根据运⾏的时间，数据的⼤⼩和时间的数量来进⾏ 周期性的滚动 （关闭当前⽂件产⽣新的⽂件）。也可以根据数据属性分区，例如根据时间戳或机器分区。HDFS ⽬录路径可以包含格式化的转义字符，⽣成 ⽬录路径可以通过格 式化转移字符 （escape sequences），HDFS sink通过这些转义字符⽣成⼀个⽬录或者⽂件去存储Event。当然在Flume中使⽤HDFS Sink的话，需要添加HDFS相关的Jar，这 样Flume就能使⽤Hadoop的jar和Hadoop集群交互。注 ：Hadoop必须⽀持sync()。 以下是HDFS Sink⽀持的转义字符 ： 名称 描述 %{ ost} 替代Event Header被命名为“ ost”的值，⽀持任意的Header name。 %t Unix毫秒时间 %a 短的周名称，例如 ：Mon, Tue, ... %A 周名称全称，例如 ：Monday, Tuesday, ... %b 短的⽉名称，例如 ：(Jan, Feb, ... %B ⽉名称全称，例如 ：January, February, ... %c ⽇期和时间，例如 ：T u Mar 3 23 :05 :25 2005 %d 每个⽉的某⼀天，例如 ：01 - 31 %e 每个⽉的某⼀天 （没有填充0）例如 ：1,2,3,431 %D ⽇期 ；像 ：%m/%d/%y %H ⼩时(00..23) %I ⼩时(01..12) %j 每个年的某⼀天，例如 ：001..366 %k ⼩时，例如 ：0..23 %m ⽉份，例如 ：01..12 %n ⽉份，例如 ：1..12 %M 分钟，例如 ：00..59 %p am 或 pm %s 从1970-01-01 00:00:00 UTC到现在的毫秒数 %S 秒，例如 ：00..59 %y 两位数的年份，例如 ：00..99 %Y 年份，例如 ：2010 %z + mm 数字时区，例如 ：-0400 ⽂件在使⽤的时候以.tmp为后缀，⼀旦⽂件关闭，扩展名将被移除。 注 ：跟时间相关的转移序列，Key为“timestamp”必须存在在Event的Headers中 （除⾮ dfs.useLocalTimeStamp设置为true） Name Default Description c annel – type – 组件的名称，必须为 ：HDFS dfs.pat – HDFS ⽬录路径，例如 ： dfs://namenode/flume/webdata/ dfs.filePrefix FlumeDa