虚拟机集群部署hadoop.docx

使用虚拟机集群部署hadoopHadoop安装模式有3中：单机模式、为分布模式及全分布模式。为了以后学习，直接上全分布模式。 又鉴于我大东软个人笔记本的操蛋配置，本来想在本机装三个节点，可惜，装两个就已经卡的跟犊子似的了。所以，本次在虚拟机上装2个操作系统，模拟2个节点。 虚拟机安装包：VMware-player-6.0.3-1895310.1404875628.exe 安装的操作系统：ubuntu-14.04.1-desktop-i386.iso（linux） jdk：jdk-6u16-linux-i586.bin hadoop版本：hadoop-1.0.3.tar.gz 注意：之前是在公司安装的，但是过程中有许多需要联网下载的东西无法下载成功（东软集团Internet访问管理策略），所以，强烈建议回家在可以连接互联网的地方安装，省去许多麻烦，我安装的时候就重装了3次，悲催，但鉴于初学，就忍了。 Hadoop集群中每个节点的角色如下： 主机名：Ubuntu1 角色：master、slaves jps结果： NameNode、DataNode、JobTracker、TaskTracker、SecondaryNameNode主机名：Ubuntu2 角色：slaves jps结果： DataNode、TaskTracker主机名：本机 角色：开发测试环境，安装JDK和eclipse即可，使用hadoop的jar包1、在本机安装虚拟机：VMware-player-6.0.3-1895310.1404875628.exe，安装过程略。 2、打开VMWare，新建虚拟机，选择Ubuntu的iso镜像，输入自己想设定的名称，用户名、密码。然后默认安装就可以了。 3、同样方式安装第二个虚拟机。 4、安装VMWare Tools。打开安装的虚拟机，点击VMWARE的Player菜单，选择管理，安装VMWare Tools。（必须联网） 5、安装成功VMWare Tools后，就可以在本机和VMWare之间切换并且直接拖拽拷贝文件了，然后将jdk上传至你建的用户根目录下。我建了一个目录tools，都放在这个目录了。 6、安装JDK.（安装Ubuntu后是图形界面,输入CTRL+ALT+T,能打开命令行界面）cd tools、chmod u+x *.bin、./jdk-6u16-linux-i586.bin安装即可。 7、配置jdk环境变量：cd ~、vi .bashrc、在文件最后输入以下几行： export JAVA_HOME=/home/hongchq/tools/jdk_1.6.0_16 export JRE_HOME=$JAVA_HOME/jre export CLASS_PATH=$JAVA_HOME/lib:$JRE_HOME/lib：$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 然后执行：source .bashrc使环境变量生效。测试：java -version。输出安装的jdk版本即安装成功。8、将hadoop-1.0.3.tar.gz上传到tools目录下。解压tar -xvf hadoop-1.0.3.tar.gz.配置Hadoop的环境变量 export HADOOP_HOME=/home/hongchq/tools/hadoop-1.0.3 export PATH=$HADOOP_HOME/bin:$PATH9、修改hadoop目录conf下的masters和slaves masters中 #localhost Ubuntu1 slaves中 #localhost Ubuntu1 Ubuntu210、修改conf目录下的core-site.xml文件?xml version=1.0??xml-stylesheet type=text/xsl href=configuration.xsl?configurationpropertynamehadoop.tmp.dir/namevalue/home/hongchq/tools/hadoop-1.0.3/tmp/valuedescriptionA base for other temporary directories./descriptio n/propertypropertyname/namevaluehdfs://28:9000/valuedescriptionThe name of the default file system. A URI whose sc heme and authority determine the FileSystem implementation. The uris s