Hadoop平台监控、预警及自动化.pdf

下载文档

27
0
约2.49万字
约 48页
2018-02-01 发布于河北
举报
版权申诉
保障服务

Hadoop平台监控、预警及自动化.pdf

1、本文档共48页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

Sami Ben-Romdhane Distinguished Architect, eBay. ¡  Hadoop Platform Team §  China team 9 engineers §  US team 11 engineers Eagle fully developed by China team Sami Ben-romdhane Distinguished Architect 3000+ node 10,000+ core 50+ PB 2012 100+ nodes 1000s + core 1 PB 2013/2014 2010 2011 10,000 nodes 1000+ node 150,000+ cores 10,000+ core 150 PB 10+ PB 2009 50+ nodes 1-10 nodes 2007 ¡  Fast business growth needs §  ~ 10 large Hadoop clusters §  ~10,000 data nodes §  ~50,000 jobs per day §  ~50,000,000 task per day §  300+ types of Hadoop native metrics §  Millions of Hadoop component logs per day §  1 billion audit events per day ¡  Challenges with large-scale Hadoop cluster monitoring §  Too many to be monitored