hadoop运维经验分享.pdf

Hadoopadoop 运维经验分享运维经验分享 赵云炯 自我介绍自我介绍 2008年加入阿里巴巴 云梯管理员云梯管理员 2011年加入年加入SDOSDO  负责搭建并维护hadoop集群 加入年加入ebayebay 概要概要 hadoophadoop集群集群搭建搭建 监控监控  集群性能调优 Hadoop如何被搞垮的 HHaddoop集群搭建集群搭建 MasterMaster  memory  磁盘磁盘sas +  raidid10  active‐backup bonding IP alias NNamenodde Editlog 本地本地一份份，NFSNFS一份份  NameQuota  SpaceQuota  权限控制权限控制  /tmp  Trash   RackRack  awarenessawareness JJobTbTrackker 控制内存 mapred.jobtracker.maxtasks.per.job erval pleteuserjobs.maxi mummum mapreduce.job.counters.limit SSeconddaryNNamenodde  内存不能少于Namenode 控制做控制做checkpointcheckpoint 的次数及时间的次数及时间 fs.checkpoint.period ffs.chheckkpoiint.siize sllave Disk 2T * 12 ext4 noatimenoatime  定期更换坏磁盘，一次一台  网络  如果条件允许果条件允许，，做汇聚绑定做汇聚绑定 （（mode 44  bonding)  内存内存  24G 确定确定map    redduce数数  内存： mapp + reduce + tasktracker + datanode  网络网络 磁盘 注意意wio 监控监控 EndEnd  toto  endend 检测hdfs是否可用，是否能跑map/reduce 1010分钟分钟一次次 fsck GC FFullll  GCGC 监控监控 Tasktracker  Datanode数量 异常作异常作业监控监控  大作业 读写数据特别多读写数据特别多 运行时间特别长 性能调优性能调优 GC 策略 Editlog 锁 调度调度 GCGC 策略策略 推荐使用CMS 停顿时间短停顿时间短 指定heap 内存的初始值和最大值相等 ‐XmsXms ‐XmxXmx EditlEditlogg 所有更改所有更改FSNamesystemFSNamesystem的的RPCRPC  CallCall都需要等都需要等 待Editlog sync到磁盘才能返回