eclipse连接远程hadoop集群开发时权限不足问题解决方案.docxVIP

eclipse连接远程hadoop集群开发时权限不足问题解决方案 　　篇一：hadoop单机部署、集群部署及win7本地Eclipse远程配置管理 　　准备工作：  　　Window版hadoop下载地址：  　　hadoop/common//  　　下载Eclipse hadoop的插件地址：  　　Linux Hadoop下载地址：  　　hadoop/common//  　　在linux服务器上创建用户名为hadoop的用户：  　　[root@localhost ~]# useradd hadoop  　　设置密码：  　　[root@localhost ~]# passwd hadoop  　　添加hadoop用户使用vim、vi等命令的权限：  　　[root@localhost ~]# vim /etc/sudoers  　　root ALL=(ALL) ALL  　　hadoop ALL=(ALL) ALL  　　此处保存是可能需要使用:wq!强制保存。  　　以下文档如无特殊说明均使用hadoop账户进行操作  　　单机部署  　　1.下载文件。  　　2.运行命令 tar zxvf 将hadoop解压到自己喜欢的目录下（我的解压在/usr/local/目录下）  　　3.编辑目录下的conf/文件，将其中的JAVA_HOME配置为自己的jdk目录（如我的为：JAVA_HOME=/usr/local/_60）  　　4.到此出Hadoop单机部署基本完成。  　　5.单机模式的操作方法  　　默认情况下，Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助。  　　下面的实例将已解压的 conf 目录拷贝作为输入，查找并显示匹配给定正则表达式的条目。输出写入到指定的output目录。[hadoop@localhost ]$ mkdir input[hadoop@localhost ]$ cp conf/*.xml input[hadoop@localhost ]$ bin/hadoop jar  　　grep input output dfs[a-z.]+ $ cat output/*  　　注：语法不理解没关系看下面进一步说明  　　显示结果 1 dfsadmin  　　伪分布式模式部署  　　1.下载文件。  　　2.运行命令 tar zxvf 将hadoop解压到自己喜欢的目录下（我的解压在/usr/local/目录下）  　　3.编辑目录下的conf/文件，将其中的JAVA_HOME配置为自己的jdk目录（如我的为：JAVA_HOME=/usr/local/_60）  　　4.编辑配置文件  　　注：以前的版本是,可hadoop在版本，配置文件由以前的  　　文件变成三个配置文件,hdfs- ,内在的原因是因为hadoop代码量越来越宠大，拆解成三个大的分支进行独立开发，配置文件也独立了 [hadoop@localhost ]$ vim conf/:  　　 hdfs://localhost:9000  　　 [hadoop@localhost ]$ vim conf/:  　　 1  　　[hadoop@localhost ]$ vim conf/: localhost:9001  　　  　　5.免密码ssh设置  　　现在确认能否不输入口令就用ssh登录localhost:  　　[hadoop@localhost ]$ ssh localhost  　　如果不输入口令就无法用ssh登陆localhost，执行下面的命令： [hadoop@localhost ]$ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa  　　[hadoop@localhost ]$ cat ~/.ssh/id_ ~/.ssh/authorized_keys  　　6.执行  　　首先使用 hadoop 命令对 Hadoop File System (HDFS) 进行格式化。  　　首先，请求 namenode 对 DFS 文件系统进行格式化。在安装过程中完成了这个步骤，但是了解是否需要生成干净的文件系统是有用的。  　　[hadoop@localhost ]$ bin/hadoop namenode -format  　　接下来，启动 Hadoop 守护进程。  　　启动Hadoop守护进程：  　　[hadoop@localhost ]$ bin/  　　注：1）Hadoop守护进程的日志写