下Hadoop2.7.2安装.docxVIP

ubuntu14.04下Hadoop（2.7.2稳定版）环境的安装一、前提安装：1.JDK环境1.7版本及以上，具体配置方法可百度，网上很多教程2.安装ssh，运行sshd，这样就可以用Hadoop脚本去远程控制Hadoop的守护进程，安装方法：运行命令sudo apt-get install ssh和sudo apt-get install rsync二、下载镜像文件网址：/dyn/closer.cgi/hadoop/common/三、开始部署Hadoop集群1.解压下载的镜像文件，其目录结构如下图所示2.修改该文件下etc/hadoop/hadoop-env.sh文件按照下图进行修改：接着输入：bin/hadoop命令，显示如下，有关于hadoop命令的用法提示：3.现在你可以选择按照以下三种方式来部署你的Hadoopa.本地（单机）模式b.伪分布式模式c.完全分布式下面一一进行介绍：a.单机模式默认情况下，Hadoop是非分布式运行的（可以说成是集中的吧），是作为一个单独的java进程来运行的，这在调试的时候很有帮助。下面是一个例子，它是将解压的conf文件作为输入然后寻找并显示每一个与正则表达式匹配的输出，输出写在output文件夹中：b.伪分布式模式Hadoop同样可以在单个节点上以伪分布式模式运行，伪分布模式可以使每个Hadoop守护进程独立运行。其配置步骤如下：修改etc/hadoop/core-site.xml文件：修改etc/hadoop/hdfs-site.xml文件：使ssh可以以无密码的的方式登录localhost：用ssh localhost去检验是否成功：如图所示，是不需要密码就可以登录的。运行：建立文件系统，输入命令：启动NameNode和DataNode守护进程：或者 sbin/start-all.sh 命令也行其中，Hadoop的日志文件写在了logs文件夹中（默认情况下）,如下图所示：在网页上检验是否成功，访问网页地址：http://localhost:50070/ ,出现下图表示成功：如果要建立HDFS的目录，需要运行MapReduce，步骤如下：其中username可任意填写。将输入文件拷贝到分布式文件系统中：运行Hadoop中自带的一些例子：检验输出文件：将输出文件output从本地文件系统拷贝到分布式文件系统中并检验或者在分布式文件系统中直接查看输出文件：当一切结束后，可以关闭守护进程：sbin/stop-dfs.sh在安装过程中，多次出现警告：出现的原因是因为版本的不匹配，一种解决方式是下载合适的版本：参考解决方案：/Linux/2012-04/59200.html但这个解决方案不适合我的，下面时我的解决方案：1.通常编译好的hadoop库是在lib中，如果不想编译，可以直接用lib/native里面的预编译库，然后把native里面的库文件直接移到lib文件夹下面：命令如下：cp lib/native/* /lib2.加入系统变量：再次输入原来执行得到警告的命令，发现已经没有WARN了。