hbase及spark集群安装配置全过程.docx

集群安装配置全过程硬件配置名称IP地址masterslave1slave2slave3slave4操作系统：centos7.0环境准备1). 在各机器上添加相同的用户：hadoop，并配置相同的密码2). 在各机器上准备相同的目录结构：/opt，集群相关软件安装在此目录下3). 修改各机器的hostname。vim /etc/hostname将此文件里的名字修改为我们所希望的名称保存退出后运行su –命令重新加载环境即可4). 在各机器上添加机器名与ip地址的映射关系。vim /etc/hosts master slave1 slave2 slave3 slave4保存退出即生效在各计算上使用如下命令测试配置是否生效ping masterping slave1ping slave2ping slave3ping slave45). 配置无密码登陆A．要求已经安装了ssh。使用root用户运行如下命令进行安装：yum install openssh-serverB．切换到hadoop用户C. 在master上执行如下命令ssh-keygen -t rsa -P Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):（直接按回车即可）然后运行如下命令ssh-copy-id hadoop@slave1are you sure you want to continue connecting (yes/no)?（输入yes）hadoop@slave1s password:（输入用户hadoop在slave1上的密码即可）如此则配置完成无密码登陆slave1。可使用命令：ssh hadoop@slave1进行测试同理使用如下命令配置无密码登陆slave2、slave3、slave4ssh-copy-id hadoop@slave2ssh-copy-id hadoop@slave3ssh-copy-id hadoop@slave4同理在slave1、slave2、slave3、slave4完成相同的配置。安装JDK解压jdk。tar -zxvf jdk-7u71-linux-x64.tar.gz拷贝到安装目录/opt。cp -rf jdk1.7.0_71/ /opt/jdk配置环境变量在/etc/profile文件里添加如下语句（使用root用户执行）export JAVA_HOME=/opt/jdkexport CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jarexport PATH=$path:$JAVA_HOME/bin使用source /etc/profile使配置生效（使用root用户执行）在master及slave1、slave2、slave3、slave4中使用以上命令。安装hadoop解压hadoop。tar -zxvf hadoop-2.5.2.tar.gz拷贝到安装目录/opt。cp -rf hadoop-2.5.2 /opt/hadoop配置hadoop-env.sh。在文件的末尾添加如下行：export JAVA=/opt/jdk配置core-site.xml，在文件里增加如下行：configuration property name/name valuehdfs://master:9100/value /property property namehadoop.tmp.dir/name value/opt/hadoop/tmp//value /property property namehadoop.native.lib/name valuetrue/value /property/configuration配置hdfs-site.xml文件，在文件里增加如下行： property name.dir/name valuefile:/home/hadoop/name/value /property property namedfs.data.dir/name valuefile:/home/hadoop/data/value /property pro