分布式hadoop与spark集群搭建汇编.pdfVIP

1、设置 root 用户密码，以 root 用户登录，设置方式如下 sudo -s gedit /etc/lightdm/lightdm.conf [SeatDefaults] greeter-session=unity-greeter user-session=Ubuntu greeter-show-manual-login=true allow-guest=false 启用 root 帐号：（ Ubuntu 默认是禁止 root 账户的） sudo passwd root 设置好密码，重启系统，选择 “login ，输入” “root ”，再输入密码就可以了。 2、配置机器的 /etc/hosts 和 /etc/hostname 并安装 ssh 设置三台机器之间的无密码登 录， 在 “/etc/hostname文件中把三台机器的” hostname 分别设置了 SparkMaster 、 SparkWorker1 、 SparkWorker2 并在每台机器的 “/etc/hosts配置如下” IP 和机器名称的对应关系： localhost 31 SparkMaster 32 SparkWorker1 33 SparkWorker2 # The following lines are desirable for IPv6 capable hosts ::1 ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters 可通过 ipconfig 来查看 ip 地址。 可以 ping SparkWorker1 来查看 ip 是否配置成功 下面配置 ssh 无密码登陆： 1）apt-get install ssh 2 ）/etc/init.d/ssh start ，启动服务 3）ps -e |grep ssh，验证服务是否正常启动 4 ）设置免密登陆，生成私钥和公钥： ssh-keygen -t rsa -P “” 再/root/.ssh 中生成两个文件： id_rsa 和 id_rsa.pub，id_rsa 为私钥， id_rsa.pub 为公钥， 我们将公钥追加到 authorized_keys 中， cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 将 SparkWorker1 、SparkWorker2 的 id_rsa.pub 传给 SparkMaster ，使用 scp 命令进行复制： SparkWorker1 上， scp ~/.ssh/id_rsa.pub root@SparkMaster:~/.ssh/id_rsa.pub.SparkWorker1 SparkWorker2 上， scp ~/.ssh/id_rsa.pub root@SparkMaster:~/.ssh/id_rsa.pub.SparkWorker2 然后将公钥添加到 SparkMaster 的 authorized_keys 中， SparkMaster 上， cd ~/.ssh cat id_rsa.pub.SparkWorker1 authorized_keys cat id_rsa.pub.SparkWorker2 authorized_keys 再将 SparkMaster 的 authorized_keys 复制到 SparkWorker1 、SparkWorker2 的 .ssh 目录下：