第4章 Hadoop文件参数配置.pdfVIP

第4 章 Hadoop 文件参数配置 目录 1. 实验一：hadoop 全分布配置2 1.1. 实验目的2 1.2. 实验要求2 1.3. 实验环境2 1.4. 实验过程2 1.4.1. 实验任务一：在Master 节点上安装Hadoop2 1.4.2. 实验任务二：配置hdfs-site.xml 文件参数3 1.4.3. 实验任务三：配置core-site.xml 文件参数4 1.4.4. 实验任务四：配置mapred-site.xml5 1.4.5. 实验任务五：配置yarn-site.xml 6 1.4.6. 实验任务六：Hadoop 其它相关配置8 1 第4 章 Hadoop 文件参数配置 1. 实验一：hadoop 全分布配置 1.1. 实验目的 完成本实验，您应该能够：  掌握hadoop 全分布的配置  掌握hadoop 全分布的安装  掌握hadoop 配置文件的参数意义 1.2. 实验要求  熟悉hadoop 全分布的安装  了解hadoop 配置文件的意义 1.3. 实验环境 本实验所需之主要资源环境如表1-1 所示。 表1-1 资源环境 服务器集群 3 个以上节点，节点间网络互通，各节点最低配置：双核CPU、8GB 内存、100G 硬盘 运行环境 CentOS 7.4 服务和组件 完成前面章节的实验，其他服务及组件根据实验需求安装 1.4. 实验过程 1.4.1. 实验任务一：在Master 节点上安装Hadoop . 步骤一：解压缩hadoop-2.7.1.tar.gz 安装包到/usr 目录下 [root@master ~]# tar -zxvf /opt/software/hadoop-2.7.1.tar.gz -C /usr/local/src/ . 步骤二：将hadoop-2.7.1 文件夹重命名为hadoop [root@master ~]# mv /usr/local/src/hadoop-2.7.1 /usr/local/src/hadoop . 步骤三：配置Hadoop 环境变量 注意:在第二章安装单机Hadoop 系统已经配置过环境变量,先删除之前配置后添加 #在文件末尾添加以下配置信息 [root@master ~]# vi /etc/profile # set java environment # JAVA_HOME指向 JAVA安装目录 export JAVA_HOME=/usr/local/src/jdk1.8.0_152 2 第4 章 Hadoop 文件参数配置 # 将 JAVA安装目录加入 PATH路径 export PATH=$PATH:$JAVA_HOME/bin # set hadoop environment export HADOOP_HOME=/usr/local/src/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH . 步骤四：使配置的Hadoop 的环境变量生效 [root@master ~]# su - hadoop [hadoop@master ~]# source /etc/profile [hadoop@master ~]# exit . 步骤五：执行以下命令修改hadoop-env.sh 配置文件。 [root@master ~]# cd /usr/local/src/hadoop/etc/hadoop/ #在文件末尾添加以下配置信息 [r