Hadoop2.6.4环境搭建步骤汇编.docx

Hadoop2.6.4 环境搭建步骤参考网站：1. /install-hadoop/创建hadoop用户useradd -m hadoop -s /bin/bash配置SSH无密码登陆cd ~/.ssh/ # 若没有该目录，请先执行一次sshlocalhostssh-keygen -t rsa# 会有提示，一路都按回车就可以cat ./id_rsa.pub ./authorized_keys # 加入授权此时再用sshlocalhost命令，无需输入密码就可以直接登陆。安装Java环境rpm –ivhjdk-7u79-linux-x64.rpmvim /etc/profile#set java environment JAVA_HOME=/usr/java/jdk1.7.0_79CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/libHADOOP_HOME=/usr/local/hadoopPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATHsource /etc/profilejava -versionJava环境安装成功。安装 HadoopHadoop 2 可以通过 /apache/hadoop/common/ 或者 /apache/hadoop/common/ 下载，一般选择下载最新的稳定版本，即下载“stable”下的 hadoop-2.x.y.tar.gz 这个格式的文件，这是编译好的，另一个包含src的则是 Hadoop 源代码，需要进行编译才可使用。下载时强烈建议也下载 hadoop-2.x.y.tar.gz.mds 这个文件，该文件包含了检验值可用于检查 hadoop-2.x.y.tar.gz 的完整性，否则若文件发生了损坏或下载不完整，Hadoop 将无法正常运行。本文涉及的文件均通过浏览器下载，默认保存在“下载”目录中（若不是请自行更改 tar 命令的相应目录）。另外，本教程选择的是 2.6.4 版本，如果你用的不是 2.6.4 版本，则将所有命令中出现的 2.6.4 更改为你所使用的版本。tar -zxf /data/install/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中cd /usr/local/mv ./hadoop-2.6.4/ ./hadoop # 将文件夹名改为hadoopchown -R hadoop ./Hadoopvim /etc/profileHADOOP_HOME=/usr/local//hadoopPATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATH# improve Could not resolve hostname library: Name or service not known export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS=-Djava.library.path=$HADOOP_HOME/lib/nativesource /etc/profilehadoop versionHadoop伪分布式配置Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。修改配置文件 core-site.xml (通过gedit编辑会比较方便: gedit ./etc/hadoop/core-site.xml)，将当中的configuration/configurationXML修改为下面配置：configurationproperty namehadoop.tmp.dir/name valuefile:/usr/local/hadoop/tmp/value d