Hadoop2.1.0伪分布式搭建及整合HBase.doc

Hadoop-2.1.0-beta伪分布式环境搭建 所需软件 CentOs系统 jdk-6u24-linux-i586.bin或者更高 hadoop-2.1.0-beta.tar.gz apache-maven-3.0.5-bin.tar.gz 安装软件 1，安装CentOs系统，这个网上有许多教程这里不多说。 2，新建一个文件夹用来存放解压后的软件包(cloud)，解压jdk到cloud下，命令：tar -zxvf jdk-6u24-linux-i586.bin /cloud/，同理解压hadoop包和maven包到/cloud/目录下 3，解压完成后，配置环境变量，使用vi或者vim编辑profile文件，vim /etc/profile 移动到最后一行，添加如下内容： export JAVA_HOME=/cloud/jdk1.6.0_24 export HADOOP_HOME=/cloud/hadoop-2.1.0 export MAVEN_HOME=/cloud/apache-maven-3.0.5 export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$MAVEN_HOME/bin 添加完成后，运行source /etc/profile使其立即生效 运行命令java -version查看是否安装成功，如下图所示则说明安装成功。 运行命令mvn -version查看是否安装成功，如下图所示则说明安装成功。 三、配置Hadoop文件 在hadoop2以后的版本中添加了一个新的功能叫yarn，是为了帮助mapreduce提高效率的，所以在配置时也需要配置它，以前是配置4个现在多了一个就是5个，分别是：core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml和yarn-site.xml 1、编辑core-site.xml property namefs.defaultFS/name valuehdfs://master:9000/value /property property namehadoop.tmp.dir/name valuefile:/usr/hadoop-2.1/tmp/value /property 2、编辑hadoop-env.sh修改export JAVA_HOME=/cloud/jdk1.6.0_24 3、编辑property namedfs.replication/name!--默认三份副本-- value1/value /property property namedfs.permissions/name!--关闭了权限认证-- valuefalse/value /property property namedfs.webhdfs.enabled/name!--开启web的hdfs-- valuetrue/value /property property namedfs.datanode.data.dir/name!--真实数据存放地址-- valuefile:/usr/hadoop/hadoop-2.1.0-beta/dfs/data/value /property property name.dir/name!--元数据存放地址-- valuefile:/usr/hadoop/hadoop-2.1.0-beta/dfs/name/value /property 4、编辑configuration property name/name valueyarn/value /property /configuration 编辑yarn-site.xml property nameyarn.resourcemanager.hostname/name valuemaster/value /property property nameyarn.nodemanager.aux-services/name valuemapreduce.shuffle/value /property 格式化HDFS 执行命令 hadoop namenode -format 执行结果如图所示，则说明执行成功。 需要说明的是，从2.0以后启动和停止hadoop的命令start-all.sh和stop-all.sh不建议使用，开始摒弃掉 取而代之的将使用start-dfs.sh和start-yarn.sh启动hadoop,详细请看官方说明， 分别运行start-dfs.sh和start-yar