- 1、本文档共20页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Hadoop大数据平台运维杂记议程Hadoop在蓝汛说说Cloudera和它的产品们运维杂记——几次重大事故Hadoop集群使用情况介绍系统结构Apache Hadoop与CDH版本关系Apache:0.20.205 = 1.00.23 = 2.0Cloudera CDH:CDH3对应0.20.2CDH4基于对应2.0CDH为什么更好?安装升级更简单:yum ,tar, rpm, cloudera manager 四种安装方法 更快获取新功能和修正新bug年度release,季度updateYum安装自动匹配合适的生态系统版本自动目录配置(logs,conf),以及hdfs和mapred用户创建详细的文档CDH3u3重大改善CDH3u4重大改善Cloudera ManagerCloudera Training关于Training分为Administrator和Development两门课程关于认证考试关于证书Hadoop成长之路Hadoop开发,测试用了半年2011年底上线运行至今目前生产环境只用到了HDFS和MapReduce事故一 —— 伤不起的内存现象:系统上线第二天,Jobtracker不工作,web页面打不开原因:一次提交Job数量太多,导致Jobtracker 内存溢出解决:调大JT内存;限制Running Job数量现象:NN内存溢出,重启后发现50030页面显示fsimage损坏,调查发现SNN fsimage同样损坏了原因:小文件太多导致NN/SNN内存溢出,导致fsimage文件损坏,但是重启后的NN可以正常服务。解决:Cloudera google group去救,获得后门脚本事故二 —— 低效的MapReduce Job现象:MapReduce Job执行时间过长原因:MR中用到了Spring,小文件导致Map方法效率低下,GZ文件读写效率低解决:MR去Spring化;开启JVM重用;使用LZO作为输入和map输出结果;加大reduce并行copy线程数压缩与MapReduce性能前提:大量小文件输入147GB,文件数45047,平均3MBCPU 8 core;32GB内存;7200转磁盘;28台Slave机器输出类型耗时GZ26minTEXT24minLZO18min★ 如果输入是大块的LZO文件,则只需要11min事故三 —— OMG,整个集群完蛋了现象:早上来发现所有DataNode都dead了,重启后10分钟,DN陆续又都dead了;调查发现节点有8%左右丢包率原因:交换机模块故障;DN不能Hold住大量小文件解决:升级3u2到3u4;设置DN内存到2GB遇到无法跨越的问题解决办法加入Hadoop官方Mail List加入Cloudera Google Group监控与告警监控:ganglia设备告警、服务告警:nagios业务告警:自己实现吧Nagios告警业务监控告警
您可能关注的文档
- 阿里消费信贷的转型与发展.pptx
- 比特币及其金融衍生品前景.pptx
- HPE大数据平台介绍.pptx
- 大数据精准营销平台介绍.pptx
- 大数据平台的愿景与战略.pptx
- 大数据时代的信息化转型.pptx
- 大数据时代下的网络自金融.pptx
- 大数据的信息化转型.pptx
- 大数据在智慧城市运行体征的应用.pptx
- 互联网大数据精准营销推介方案.pptx
- 2024江西南昌赣江新区经开组团招聘村级(社区)监察联络员46人历年高频难、易点(行政职业能力测验共.docx
- 2024江苏苏州昆山市便民服务中心招聘历年高频难、易点(行政职业能力测验共200题含答案解析)模拟试.docx
- 2024江苏省南京市高淳区市场监督管理局市场招聘4人历年高频难、易点(行政职业能力测验共200题含答.docx
- 2024年山东济南市商务局所属事业单位招考高频考题难、易错点模拟试题(共500题)附带答案详解.docx
- 2024年山东济南济北经济开发区招聘人员高频考题难、易错点模拟试题(共500题)附带答案详解.docx
- 2024年山东广播电视台电视齐鲁频道招聘工作人员20名历年高频考题难、易错点模拟试题(共500题)附带答案详解.docx
- 2024年山东德州乐陵市事业单位优秀青年人才引进双向选择历年高频考题难、易错点模拟试题(共500题)附带答案详解.docx
- 2024年山东德州宁津县事业单位优秀青年人才引进17人历年高频考题难、易错点模拟试题(共500题)附带答案详解.docx
- 2024年山东枣庄市台儿庄区青年人才优选50人历年高频考题难、易错点模拟试题(共500题)附带答案详解.docx
- 2024年山东威海火炬高技术产业开发区面向社区党组织书记事业单位高频考题难、易错点模拟试题(共500题)附带答案详解.docx
文档评论(0)