Hadoop亿赞普Hadoop应用浅析幻灯片.pptxVIP

亿赞普Hadoop应用浅析;目录;一：IZP Hadoop集群现状;一：IZP Hadoop集群现状;二：IZP Hadoop应用;二：IZP Hadoop应用;二：IZP Hadoop应用;三：Hadoop维护与出现的问题;三：Hadoop维护与碰到的问题;你今天做了几个俯卧撑? 每天提交的作业数也是衡量Hadoop利用率的一个指标 对JobTracker上的日志进行分析提取 统计Job提交数 统计成功运行Job数 这些Job的总输入数据规模 ;妙手回春 (死节点自动重启) 包括datanode与tasktracker的守护进程 从JobTracker页面抽取死掉的tasktracker 从NameNode页面抽取死掉的datanode 分别对上述的死节点执行重启操作 将上述程序放入定时器让其每隔一定时间执行一次 ;我的地盘听我的 1) Hadoop权限管理 用户与组别设置: 对应客户端的用户与组名吗？ /user/xxx权限管理 2) Hadoop资源分组 capacity-scheduler 每个用户限制Job个数 每个组限制系统资源;后继有人(NameNode镜像备份) 1) 设置定时器自动拷贝镜像 使用expect 2) 网络文件系统备份 新建NFS hdfs-site.xml 中 dfs.name.dir;机架感知 1) 设置core-site.xml中topolo