让你学会Spark全部.docVIP

阿里巴巴首席工程师学习笔记 让你学会全部Spark Spark学习笔记------CentOS环境安装hadoop 生命不息，折腾不止，趁着最近工作不是太忙继续我的编程之路的学习。 　　　　年龄大了，很多东西做过一遍就容易忘记，所谓“好记性不如烂笔头”，对于知识还是记录下来比较容易保存，既是给自己留个笔记，也可以分享给其他有需要的人。废话少说，以下记录我的spark学习之旅： 　　　　一、准备工作 　　　　1.准备三台服务器.一台作为master,另外两台作为slave 　　　　我这里准备了三台服务器，对应的IP分别是 　　　　master：8； ? ? ?　　? slave1：8， 　　　　slave2：9 　　　　2.分别修改三台服务器的hosts文件，具体如下： vim /etc/hosts localhost 8 spark-master 8 spark-slave1 9 spark-slave2 　　　　3.设置免密登陆，生成公钥和私钥 　　　　登陆master机器，执行如下命令 [root@spark-master /]# ssh-keygen -t rsa ?　　　　一直敲回车,最后生成密钥 Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): /root/.ssh/id_rsa already exists. Overwrite (y/n)? y Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: SHA256:Nn0sHWtXvvMtgVaDyr2NlBha3RCDiHo4MNgpWkxFUOg root@VM_10_45_centos The keys randomart image is: +---[RSA 2048]----+ | =oB+ . . .o. | |o O . . . .. | |.+ o o ..+ .| |. E + . .oooo+o | | o S+o=*+...| | ...++*.. .| | o + + | | o o +| | .o| +----[SHA256]-----+ [root@spark-master /]# 　　　　4.?将上一步中生成的公钥文件分别复制到slave1和slave2服务器上 [root@spark-master data]# scp /root/.ssh/id_rsa.pub root@8:/data/ [root@spark-master data]# scp /root/.ssh/id_rsa.pub root@9:/data/ 　　　　分别进入slave1和slave2服务器器,将公钥导入授权文件中 [root@spark-slave1 /]# cd data [root@spark-slave1 data]# ls id_rsa.pub [root@spark-slave1 data]# cat id_rsa.pub /root/.ssh/authorized_keys 　　　　返回master服务器，测试授权是否成功 #测试slave1 [root@spark-master ~]# ssh spark-slave1 Last login: Mon Oct 15 15:46:27 2018 from 8 #测试slave2 [root@spark-master ~]# ssh spark-slave2 Last login: Mon Oct 15 15:56:30 2018 from 8 ? 　　　　5.安装jdk 　　　　检查一下是否安装jdk，如果没有请先安装，我这里因为已经安装好jdk，所以就略去了安装的步骤，如果没有安装过的请自己上网查找。 [root@spark-master ~]# java -version java version 1.8.0_152 Java(TM) SE Runtime Environment (build 1.8.0_152-b16) Java HotSpot(TM)