spark安装部署解析.doc

一、安装spark依赖的内容 1.JDK ? ? spark是由Scala语言编写的，但是运行的环境是jvm，所以需要安装JDK ? ? 编译过程：Python、java、Scala编写的代码 - scala编译器编译解释，生成class文件 - 由jvm负责执行class文件（与java代码执行一致） 2.scala ? ? 由于?spark是由Scala语言编写的，所以依赖Scala环境，且由Scala编写的执行代码也需要环境进行编译 3.配置SSH免密码登录 ? ? 集群节点无密码访问，与安装Hadoop时一致 4.安装Hadoop ? ? hdfs是作为spark的持久层，所以需要安装Hadoop，同时如果需要配置spark on yarn，则Hadoop需要安装yarn版本的 5.安装spark ? ? 安装spark，执行spark代码 二、JDK安装 1.下载地址 ? ? 用户可以在官网下载相应版本的JDK，本例使用JDK1.6,下载地址为：?/technetwork/java/javase/archive-139210.html ? ? development kit的bin包 2.下载后，在相应的目录下执行bin文件(假设JDK目录是?jdkpath) ? ? ./?jdk-6u45-linux-i586.bin 3.配置环境变量，修改/etc/profile文件增加以下内容 ? ?export ?JAVA_HOME= $jdkpath ? ?export ??PATH=$JAVA_HOME/bin:$PATH ? ?export ?CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/lib/dt.jar:$JAVA_HOME/jre/lib/tools.jar 4.生效profile(或者重启机器) ? ? source /etc/profile 5.终端输入 java -version ? ? 输出类似如下说明安装成功 ? ?? 三、安装Scala 1.下载地址 ? ? 官网下载地址：/download/all.html ? ? 本例使用的是Scala 2.9.3 2.在安装目录下解压（假设Scala目录是scalapath） ? ? tar -zxvf?scala-2.9.3.tgz 3.配置环境变量，修改/etc/profile文件增加以下内容 ? ?export ?SCALA_HOME= $scalapath ? ?export ??PATH=$SCALA_HOME/bin:$PATH 4.生效profile(或者重启机器) ? ? source /etc/profile 四、配置SSH免密码登陆 首先，需要配置各个机器间的相互访问： 1、?配置ssh的自动登陆(在master机上)： ????$?ssh-keygen?-t?dsa?-P?”?-f?~/.ssh/id_dsa ????完成后会在~/.ssh/(用户目录下)生成两个文件：id_dsa?和id_dsa.pub。????再把id_dsa.pub?追加到授权key?里面(当前并没有authorized_keys文件)： ????$?cat?~/.ssh/id_dsa.pub??~/.ssh/authorized_keys ????完成后可以实现无密码登录本机： ????$?ssh?localhost 2、把master上的id_dsa.pub?文件追加到slaves机器的authorized_keys?内(?以slaves1节点为例)： ????#拷贝master的id_dsa.pub文件(在master号机器上执行)????$?scp?id_dsa.pub?redmap@:/home/redmap/ 注：(只需在主节点上运行ssh-kegen程序。其他节点的目录结构创建后，将刚才在主节点创建的keys通过scp拷贝到从节点的同样的目录上。) 我们在实际执行中是手动把id_dsa.pub拷贝到其他slaves的节点中，而不是用scp命令。最好是直接手动拷贝过去，这样文件的权限是一致的。 登录，进入用户目录下执行：????$?cat?id_dsa.pub??.ssh/authorized_keys????之后可以在master上不输入密码直接SSH访问slaves1 五、安装Hadoop2.x 1.下载Hadoop ? ? 下载地址?/hadoop/common/ ? ? 本文使用hadoop-2.5.2.tar 2.解压压缩包到指定目录 ? ? tar -zxvf hadoop-2.5.2.tar -C /usr/local (目录自定义) ? ? 如果需要