FlumeHDFSSink使用及源码分析.pdfVIP

  1. 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
FlumeHDFSSink使⽤及源码分析 HDFS Sink介介绍绍 Flume导⼊数据HDFS,⽬前只⽀持创建序列化 (sequence)⽂件和⽂本 (text)⽂件。 ⽀持这两个⽂件的压缩。⽂件可以根据运⾏的时间,数据的⼤⼩和时间的数量来进⾏ 周期性的滚动 (关闭当前⽂件产⽣新的⽂件)。也可以根据数据属性分区,例如根据时间戳或机器分区。HDFS ⽬录路径可以包含格式化的转义字符,⽣成 ⽬录路径可以通过格 式化转移字符 (escape sequences),HDFS sink通过这些转义字符⽣成⼀个⽬录或者⽂件去存储Event。当然在Flume中使⽤HDFS Sink的话,需要添加HDFS相关的Jar,这 样Flume就能使⽤Hadoop的jar和Hadoop集群交互。注 :Hadoop必须⽀持sync()。 以下是HDFS Sink⽀持的转义字符 : 名称 描述 %{ ost} 替代Event Header被命名为“ ost”的值,⽀持任意的Header name。 %t Unix毫秒时间 %a 短的周名称,例如 :Mon, Tue, ... %A 周名称全称,例如 :Monday, Tuesday, ... %b 短的⽉名称,例如 :(Jan, Feb, ... %B ⽉名称全称,例如 :January, February, ... %c ⽇期和时间,例如 :T u Mar 3 23 :05 :25 2005 %d 每个⽉的某⼀天,例如 :01 - 31 %e 每个⽉的某⼀天 (没有填充0)例如 :1,2,3,431 %D ⽇期 ;像 :%m/%d/%y %H ⼩时(00..23) %I ⼩时(01..12) %j 每个年的某⼀天,例如 :001..366 %k ⼩时,例如 :0..23 %m ⽉份,例如 :01..12 %n ⽉份,例如 :1..12 %M 分钟,例如 :00..59 %p am 或 pm %s 从1970-01-01 00:00:00 UTC到现在的毫秒数 %S 秒,例如 :00..59 %y 两位数的年份,例如 :00..99 %Y 年份,例如 :2010 %z + mm 数字时区,例如 :-0400 ⽂件在使⽤的时候以.tmp为后缀,⼀旦⽂件关闭,扩展名将被移除。 注 :跟时间相关的转移序列,Key为“timestamp”必须存在在Event的Headers中 (除⾮ dfs.useLocalTimeStamp设置为true) Name Default Description c annel – type – 组件的名称,必须为 :HDFS dfs.pat – HDFS ⽬录路径,例如 : dfs://namenode/flume/webdata/ dfs.filePrefix FlumeDa

文档评论(0)

罗康 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档