Linux环境下hadoop运行平台的搭建.docxVIP

1、hadoop版本认识 截至目前（2012年12月23日），Apache Hadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x则支持NameNode HA等新的重大特性。第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop 1.0，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x，2.x增加了NameNode HA和Wire-compatibility两个重大特性。 1版本：主要基于原来的技术的升级和发展，同时支持其它技术的支持。如果想用hbase、hive等技术就只有选择版本1。 2版本：主要基于新技术的推广发展，如果只是基于hadoop开发，这个是一个很好的选择。 2、hadoop-1.2.1软件包的认识 bin目录：包含进行 bin目录：包含进行hadoop配置、运行以及管理的命令集合。 conf目录：包含配置和运行hadoop环境需要的配置文件以及示例文件集合。 hadoop-examples-1.2.1.jar 3、Linux环境下安装Hadoop的前提准备（Ubuntu12.04） （1）安装Java的JDK 软件包为：jdk-7u45-linux-x64.gz 这里采用的解压直接配置的方式进行安装，除此之外还有二进制安装方式 1 解压并分解软件包（用tar将解压后的单一文件进行分解） 2 配置Java环境变量，主要JAVA_HOME、PATH、CLASSPATH三个环境变量 在/etc/profile文件添加以下语句 export JAVA_HOME=/home/chengyuluo/local/java/jdk1.6.0_14 export JAVA_HOME=/home/chengyuluo/local/java/jdk1.6.0_14 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar （2）hadoop的三种安装模式 1 单机安装方式 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。 2 伪分布安装模式 3 全分布安装模式 注意：可以将hadoop软件包中的conf文件夹拷贝成3份，分别为conf.local、conf.pseudo、conf.cluster，对应单机模式、伪分布式模式和全分布式模式，然后用软连接将conf链接到对应模式的文件夹中。里面用到的配置文件主要有hadoop-env.sh、core-site.xml、mapred-site.xml、hdfs-site.xml。 4、Linux环境下安装单机模式安装（Ubuntu12.04） （1）编辑conf/hadoop-env.sh export JAVA_HOME=/home/chengyuluo/local/java/jdk1.6.0_14 export JAVA_HOME=/home/chengyuluo/local/java/jdk1.6.0_14 （2）测试安装效果 hadoop-1.2.1$ mkdir input hadoop-1.2.1$ mkdir input hadoop-1.2.1$ cd input hadoop-1.2.1$ echo “hello world” test1.txt hadoop-1.2.1$ echo “hello hadoop” test2.txt hadoop-1.2.1$ bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input output hadoop-1.2.1$ cat output/* 5、Linux环境下安装伪分布式模式安装（Ubuntu12.04）保证hadoop软件包为用户所有 （1）配置无密码登录ssh环境 $ sudo apt-get install ssh openssh-server $ sudo apt-get install ssh openssh-s