Ubuntu14.04下hadoop-2.6.0单机配置和伪分布式配置.docVIP

Ubuntu14.04下hadoop-2.6.0单机配置和伪分布式配置 发表于2015/1/5 18:44:05 21049人阅读 分类： Hadoop 注意：安装之前最好删除hadoop-2.6.0/dfs/data下的所有文件，避免出现各种问题。尤其安装包不是官方现下载的。 安装错误记录：/ggz631047367/article/details需要重新编译的教程：/ggz631047367/article/details在Ubuntu下创建hadoop用户组和用户 hadoop的管理员最好就是以后要登录桌面环境运行eclipse的用户，否则后面会有拒绝读写的问题出现。当然不是也有办法办法解决。 1. 创建hadoop用户组; sudo addgroup hadoop 2. 创建hadoop用户; sudo adduser -ingroup hadoop hadoop 3. 给hadoop用户添加权限，打开/etc/sudoers文件; sudo gedit /etc/sudoers 在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL. 在Ubuntu下安装JDK 具体见：/ggz631047367/article/details //JAVA_HOME=/usr/lib/jvm/jdk1.8.0_25 安装ssh服务 sudo apt-get install ssh openssh-server 建立ssh无密码登录本机 切换到hadoop用户，执行以下命令： su - hadoop ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式。 1. 创建ssh-key，，这里我们采用rsa方式; ssh-keygen -t rsa -P （注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的） 2. 进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的; cd ~/.ssh cat id_rsa.pub authorized_keys （完成后就可以无密码登录本机了。） 3. 登录localhost; ssh localhost 4. 执行退出命令; exit 安装hadoop 下载地址：/hadoop/common/stable/hadoop-2.6.0.tar.gz 因多次修改，可能会有Hadoop实际路径和配置文件中Hadoop路径不同，可能会产生错误 1. 把hadoop解压到/usr/local下: sudo tar -zxvf hadoop-2.6.0.tar.gz sudo mv hadoop-2.6.0 /usr/local/hadoop sudo chmod -R 775 /usr/local/hadoop sudo chown -R hadoop:hadoop /usr/local/hadoop //否则ssh会拒绝访问 2.配置 修改bashrc的配置： sudo gedit ~/.bashrc 在文件末尾添加： #HADOOP VARIABLES START export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_25 export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$JAVA_HOME/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native export HADOOP_OPTS=-Djava.library.path=$HADOOP_INSTALL/lib #HADOOP VARIABLES END 如果不知道JAVA_HOME可以通过命令获得： update-alternatives --config java 目录取到java根目录即可。 执行下