搭建HadoopHbase集群.docxVIP

搭建Hadoop+Hbase集群平台软件工程研究所2014一、环境及目标：-?系统： Ubuntu 12.10-?Hadoop版本：1.0.4- Hbase 版本：0.94.8(hindex secondary index)-?节点配置 (完全分布式集群)静态IPMaster (job tracker)?00namenodeSlave (task tracker/data node)01Datanode1Slave (task tracker/data node)02Datanode2-?用户: hadoop1.1 创建hadoop用户组;?$?sudo?addgroup?hadoop??记下这里为 hadoop 用户设置的密码，后面使用 hadoop 用户登录时需要用到。1.2. 创建hadoop用户;?$?sudo?adduser?-ingroup?hadoop?hadoop??1.3. 给hadoop用户添加权限，打开/etc/sudoers文件;?$?sudo?gedit?/etc/sudoers?1.4. 给hadoop用户赋予root用户同样的权限。在root??ALL=(ALL:ALL) ??ALL下添加如下内容：?hadoop?ALL=(ALL:ALL) ? ALL二、在Ubuntu下安装JDK2.1 配置环境变量$ sudo gedit /etc/profile在文件的末尾加上如下内容，保存并关闭文件# for javaexport JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH使设置生效：到此部JDK的配置就都完成了$ source /etc/profile为保证正确性，进行简单的测试$ java -version2.2 修改默认JDK?sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/ jdk1.6.0_45/bin/java 300 sudo update-alternatives --install /usr/bin/javac javac ?/usr/lib/jvm/ jdk1.6.0_45/bin/javac 300? sudo update-alternatives --install /usr/bin/jar jar ?/usr/lib/jvm/ jdk1.6.0_45/bin/jar 300?以下两句可选（最好执行）：sudo update-alternatives --config java?sudo update-alternatives --config javac??2.3 修改机器名每当ubuntu安装成功时机器名都默认为：ubuntu ，但为了以后集群中能够容易分辨各台服务器，需要给每台机器取个不同的名字。机器名由 /etc/hostname文件决定。1.?打开/etc/hostname文件;?$??sudo?gedit?/etc/hostname??2.?将/etc/hostname文件中的ubuntu改为对应机器，如主节点中，修改为namenode。?重启生效。3.修改/etc/hosts文件?$??sudo?gedit?/etc/hosts并且将每台机器的IP设置为固定IP：三、安装ssh服务ubuntu一般只是默认安装了 ssh-agent, 可以用如下命令查看：$?sudo?ps?-ef?|?grep?ssh??如果只有 ssh-agent?就需要安装openssh-server了。$?sudo?apt-get?install?ssh?openssh-server ?3.1 建立ssh无密码登录本机首先要转换成hadoop用户，执行以下命令：?$?sudo?su?-?hadoop???ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式。1.?创建ssh-key，，这里我们采用rsa方式; $?ssh-keygen?-t?rsa?-P???注意：ssh-kengen 是用连字符连着的，千万不要分开。（注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的）2.??创建授权文件authorized_keys 进入~/.ssh/目录下，发现开始是没有authorized_keys文件的，可以使用以下两种方法： (1) 将id_rsa.pub追