linux安装+hadoop配置.docx

多机环境下的hadoop平台搭建过程说明目录一、引言1二、部署过程说明22.1、部署阶段22.1.1、安装ubuntu-14.04.2-desktop-amd6432.1.2、安装jdk 第一步：在usr下面新建一个文件夹Java, 然后将jdk复制过来132.1.3、安装hadoop142.1.4、配置JAVA环境变量152.1.5、创建ssh-key162.2、多机环境下的配置阶段182.2.1、/etc/hosts文件的配置修改182.2.2、多机的ssh-key配置192.2.3、JAVA_HOME环境变量的配置192.2.4、master和slaves文件的配置修改202.2.5、core-site、mapred-site和hdfs-site文件的配置修改202.2.6、复制master的配置文件到各个slaves212.3、启动运行阶段222.3.1、格式化namenode (首次运行必需)222.3.2、启动hadoop22三、参考资源24一、引言多机环境下的hadoop平台搭建是通过在每台机器上部署hadoop来构成一个hadoop的集群运行环境。本文的环境搭建是在每台机器上安装双系统（windows和linux）或者单linux系统。本文hadoop部署之前下载了如下的程序：ubuntu-14.04.2-desktop-amd64、hadoop 2.7.0、jdk1.7.0 for linux。这些程序均可以从网上下载，其中jdk1.7.0 for linux（此处下载的是64位的）是直接从官网上下载。本文的环境搭建选择了三台机器，其中一台机器要作为master,而另外两台机器要作为slaves。二、部署过程说明参考网上相关资源，本文所采取的部署过程分为三个阶段：单机部署阶段、多机环境下的配置阶段、和启动运行阶段。单机部署阶段主要是在每台机器上安装和配置unbuntu、JDK 和hadoop程序；第二阶段主要是进一步配置每台机器，以构成hadoop集群环境；第三个阶段主要是启动hadoop。各个阶段的详细操作步骤如下。2.1、部署阶段单机部署阶段主要是对集群环境中的每台机器，进行ubuntu、JDK和hadoop的安装与配置。该阶段要做的工作与单机版的hadoop平台搭建类似。2.1.1、安装ubuntu-14.04.2-desktop-amd64安装工具：easyBCD，DAEMON tools，（安装最好选择默认路径）ubuntu-14.04.2-desktop-amd64.iso 建议将iso文件移动到c盘根目录。安装过程(在win7下安装ubuntu，即双系统,如果你想安装单linux系统，可以直接跳到,.7步）：磁盘预留可用空间计算机-右键-管理右键单击选择要压缩的磁盘（本例选择D盘，最好选 择最后的磁盘），右键选择“压缩卷”在输入压缩空间量（MB）里填写要压缩出的空间量，如果 要压缩出50G，填写50G*1024MB压缩后会发现多出一块未分区磁盘（绿色分区，这个只是样例），出现这样就可以了，我们的linux将安装到这个绿色的空闲分区内，这样我们可以在windows下删除linux系统。安装完成的效果图如下：如果从windows磁盘管理内无法分出，可以使用磁盘分区工具DiskGenius，建议从windows最后一个磁盘进行分区，分完后格式化所分出来的磁盘，然后删除卷，就会出现上图绿色的可用空间状态（一定要删除卷，让它成空闲分区）。打开easyBCD软件可以看到目前只有一个win7启项。选择“添加新条目”，然后选择“NeoGrub”，点击“安装”点击右边的配置将打开的menu.lst文件的内容替换成一下文本：title Install Ubunturoot (hd0,0)kernel (hd0,0)/vmlinuz.efi boot=casperiso-scan/filename=/ubuntu-14.04-desktop-amd64.iso locale=zh_CN.UTF-8initrd (hd0,0)/initrd.lztitle rebootreboottitle halthalt说明：hd0表示c盘所处的硬盘号，一般电脑只有一个，所以都是hd0；如果有多个硬盘，则根据情况改为hd0、hd1等。（因为我们直接把ubuntu-14.04-desktop-amd64.iso镜像文件拷到了C盘，直接写hd0就OK了）其中filename要改成你自己下载的ubuntu版本的镜像文件的名字（上面黄色内容）然后把系统镜像文件用DAEMON tools打开，或者以压缩包形式将其中两个文件解压出来，分别是initrd.lz和vmlinuz.efi，这两个文件在casper文件夹里。此处我