spark安装部署概述.doc

一、安装spark依赖的内容 1.JDKspark是由Scala语言编写的，但是运行的环境是jvm，所以需要安装JDK编译过程：Python、java、Scala编写的代码 - scala编译器编译解释，生成class文件 - 由jvm负责执行class文件（与java代码执行一致） 2.scala由于?spark是由Scala语言编写的，所以依赖Scala环境，且由Scala编写的执行代码也需要环境进行编译 3.配置SSH免密码登录集群节点无密码访问，与安装Hadoop时一致 4.安装Hadoophdfs是作为spark的持久层，所以需要安装Hadoop，同时如果需要配置spark on yarn，则Hadoop需要安装yarn版本的 5.安装spark安装spark，执行spark代码 二、JDK安装 1.下载地址用户可以在官网下载相应版本的JDK，本例使用JDK1.6,下载地址为：?/technetwork/java/javase/archive-139210.htmldevelopment kit的bin包 2.下载后，在相应的目录下执行bin文件(假设JDK目录是?jdkpath)./?jdk-6u45-linux-i586.bin 3.配置环境变量，修改/etc/profile文件增加以下内容export ?JAVA_HOME= $jdkpathexport ??PAT