Hadoop运维杂记.pptx

Hadoop运维杂记今日菜单Hadoop在XXX说说Cloudera和它的产品们运维杂记——几次重大事故Hadoop在蓝汛系统结构Apache Hadoop与CDH版本关系Apache:0.20.205 = 1.00.23 = 2.0Cloudera CDH:CDH3对应0.20.2CDH4基于对应2.0CDH为什么更好？安装升级更简单：yum ,tar, rpm, cloudera manager 四种安装方法 更快获取新功能和修正新bug年度release，季度updateYum安装自动匹配合适的生态系统版本自动目录配置（logs，conf），以及hdfs和mapred用户创建详细的文档CDH3u3重大改善CDH3u4重大改善Cloudera ManagerCloudera Training关于Training分为Administrator和Development两门课程关于认证考试关于证书Hadoop成长之路Hadoop开发，测试用了半年2011年底上线运行至今目前生产环境只用到了HDFS和MapReduce事故一 —— 伤不起的内存现象：系统上线第二天，Jobtracker不工作，web页面打不开原因：一次提交Job数量太多，导致Jobtracker 内存溢出解决：调大JT内存；限制Running Job数量现象：NN内存溢出，重启后发现50030页面显示fsimage损坏，调查发现SNN fsimage同样损坏了原因：小文件太多导致NN/SNN内存溢出，导致fsimage文件损坏，但是重启后的NN可以正常服务。解决：Cloudera google group去救，获得后门脚本事故二 —— 低效的MapReduce Job现象：MapReduce Job执行时间过长原因：MR中用到了Spring，小文件导致Map方法效率低下，GZ文件读写效率低解决：MR去Spring化；开启JVM重用；使用LZO作为输入和map输出结果；加大reduce并行copy线程数压缩与MapReduce性能前提：大量小文件输入147GB，文件数45047，平均3MBCPU 8 core；32GB内存；7200转磁盘；28台Slave机器输出类型耗时GZ26minTEXT24minLZO18min★ 如果输入是大块的LZO文件，则只需要11min事故三 —— OMG，整个集群完蛋了现象：早上来发现所有DataNode都dead了，重启后10分钟，DN陆续又都dead了；调查发现节点有8%左右丢包率原因：交换机模块故障；DN不能Hold住大量小文件解决：升级3u2到3u4；设置DN内存到2GB遇到无法跨越的问题解决办法加入Hadoop官方Mail List加入Cloudera Google Group监控与告警监控：ganglia设备告警、服务告警：nagios业务告警：自己实现吧Nagios告警业务监控告警