hadoop on demand安装指南.docVIP

1. 说明： 本实验是在4台平台相同的虚拟机上进行的，其ip和主机名分别为36 、、38 、39 node3。HOD是利用预先安装好的Hadoop集群来完成安装的。 2. 准备工作： 1) 分别在4台虚拟机的/etc/hosts文件中写入如下内容 36 server 37 node1 38 node2 39 node3 2) 为root设置从server到node*的无密码访问  = 1 \* GB3 ①ssh-keygen -t dsa 之后一路回车即可  = 2 \* GB3 ②scp ~/.ssh/id_dsa.pub  HYPERLINK mailto:root@:/root/.ssh root@:/root/.ssh ssh cd /root/.ssh cat id_dsa.pub authorized_keys  = 3 \* GB3 ③对node2和node3重复第 = 2 \* GB3 ②步 3. 安装Torque 注：1)~4)和6)步是在server上进行的 1) 下载torque wget  HYPERLINK /resources/downloads/torque/torque-2.5.1.tar.gz /resources/downloads/torque/torque-2.5.1.tar.gz 2) 解压 tar –zxvf torque-2.5.1.tar.gz 3) 安装 cd torque-2.5.1 ./configure make make install torque被默认安装在/var/spool/torque中 make packages 生成用于客户端安装的包,即在node1和node2以及node3上安装的包，之后利用scp将生成的torque-package-mom-linux-i686.sh和torque-package-clients-linux-i686.sh拷贝到node1和node2以及node3上 ./torque.setup root 4) 配置 cd /var/spool/torque/server_priv vi nodes #添加如下内容 np=1 hadoop_cluster np=1 hadoop_cluster np=1 hadoop_cluster np=1 hadoop_cluster cd /var/spool/torque/mom_priv vi config $pbsserver $logevent 255 pbs_mom -c /var/spool/torque/mom_priv/config qterm -t quick pbs_server pbs_sched 5) 分别在node1~node3上进行客户端的安装 ./torque-package-mom-linux-i686.sh –install ./torque-package-clients-linux-i686.sh –install cd /var/spool/torque/mom_priv vi config $pbsserver $logevent 255 /usr/local/sbin/pbs_mom -c /var/spool/torque/mom_priv/config 6) 验证安装是否成功 pbsnodes 7) 为HOD创建队列 qmgr create queue hadoop_q set queue hadoop_q queue_type = Execution set queue hadoop_q resources_default.nodes = hadoop_cluster …… 4. 安装python（在所有节点上都需要安装） 1) 下载 wget  HYPERLINK /down.php?id=34747ResourceID=35site=1 /down.php?id=34747ResourceID=35site=1 2) 解压并安装 tar –zxvf Python-2.5.5.tgz cd Python-2.5.5 ./configure make make install 5. 安装jdk 1) 下载，地址如下  HYPERLINK /technetwork/java/javase/downloads/java-se-jdk-7-download-432154.html /technetwork/java/javase/downloads/java-se-jdk-7-download-432154.html 我下载的是jdk-7-linux-i586.r