Hadoop大数据开发基础Hadoop搭建Hadoop完全分布式集群.pptVIP

其他不用关系 * 任务监控的各个部分解读 任务监控的各个部分解读 任务监控的各个部分解读 任务监控的各个部分解读 集群总览； 集群总结； NameNode Storage * 大数据-Hadoop基础 * 1 安装Java 目录 安装配置虚拟机 2 搭建Hadoop完全分布式集群 3 Hadoop安装与配置 新建虚拟机4台,分别命名master,slave1,slave2,slave3; 每台虚拟机设置固定IP; 每台虚拟机安装必要软件; 准备工作: Hadoop安装与配置 准备工作: master: 1.5G ~2G内存,20G硬盘,NAT,1~2核 ; slave1~slave3: 1G内存,20G硬盘,NAT,1核 Hadoop安装与配置 新建虚拟机master,配置固定IP,关闭防火墙,安装必要软件; 克隆master到salve1,slave2,slave3; 修改slave1~slave3地IP,改为固定IP; 具体做法: Hadoop安装与配置 master 30 NameNode/JobHistoryServer ResourceManager/ SecodaryNameNode slave1 slave2 slave3 31 DataNode/ NodeManager 32 DataNode/ NodeManager 33 DataNode/ NodeManager Hadoop安装与配置 上传,解压缩; 修改配置文件; 配置ssh无密码登录; 配置ntp,统一时间; 安装文件拷贝到子节点; 格式化,并启动集群 Hadoop安装与配置 core-site.xml有关配置解读; hdfs-site.xml有关配置解读; mapred-site.xml有关配置解读; yarn-site.xml有关配置文件解读; Hadoop安装目录解读 执行命令 配置文件 日志文件 启动命令 软件jar包 Hadoop启动 启动集群 [root@master hadoop-2.6.0]# sbin/start-dfs.sh [root@master hadoop-2.6.0]# jps 1296 NameNode 1498 SecondaryNameNode [root@master hadoop-2.6.0]# sbin/start-yarn.sh [root@master hadoop-2.6.0]# jps 1722 ResourceManager 。。。 [root@master hadoop-2.6.0]# sbin/mr-jobhistory-daemon.sh start historyserver [root@master hadoop-2.6.0]# jps 2175 JobHistoryServer 。。。 HDFS YARN JobHistoryServer Hadoop关闭 关闭集群 [root@master hadoop-2.6.0]# sbin/stop-yarn.sh [root@master hadoop-2.6.0]# sbin/stop-dfs.sh [root@master hadoop-2.6.0]# sbin/mr-jobhistory-daemon.sh stop historyserver HDFS YARN JobHistoryServer Hadoop 监控—任务监控 30:8088/cluster 功能导航 集群信息 具体任务信息 Hadoop 监控—任务监控 Hadoop 监控—任务监控 Hadoop 监控—任务监控 Hadoop监控—文件监控 30:50070/dfshealth.html#tab-overview 功能导航 Hadoop监控—文件监控 Hadoop监控—文件监控 Hadoop监控—文件监控 Hadoop监控—文件监控 Hadoop监控—文件监控 30:50070/dfshealth.jsp Hadoop集群—问题 1.集群节点有关服务没有启动？ 检查对应机器防火墙状态; 检查对应机器地时间是否与主节点同步; Hadoop集群—问题 2.集群状态不一致,clusterID不一致？ 删除/data.dir配置地目录; 重新执行hadoop格式化; 搭建Hadoop集群，每课时40~45分钟左右 搭建Hadoop集群，新建一台机器后使用克隆 /etc/udev/rules.d/70-persistent-net.rules 修改硬件地址； 搭建Hadoop集群，每课时40~45分钟左右 此处动手实践，搭建Hadoop集群，预计耗时1~2个课时，每课时40~45分钟左右 此处动手实践，搭建Hadoop集群