云计算平台Hadoop的部署课程实例.pptVIP

目标Hadoop 机群 Master NameNode Jobtracker slave0 DataNode0 TaskTracker0 slave1 DataNode1 TaskTracker1 目录 Hadoop简介 HDFS (Hadoop Distributed File System) MapReduce Hadoop的部署 预备条件：ssh，jvm 参数设置：conf/* 启动hdfs和mapreduce 运行MapReduce任务 预备条件0 三台机器 操作系统相同，在同一局域网 node50 ip:0 node51 ip:1 node52 ip:2 一个专门用于hadoop安装的用户 hadoop 预备条件0 修改/etc/hosts, 添加三台机器的机器名和ip映射（三台机器都要做） #vim /etc/hosts 预备条件0 创建专门用于hadoop安装的用户名（三台机器都要做） #useradd –m hadoop #passwd hadoop 以#开头的命令是指在root权限下执行的命令 以$开头的命令是指在专门用于hadoop的用户下执行的命令 预备条件1 jvm：Sun JavaTM?1.6.x 检查是否已经安装： $java –version 如果返回1.6则已经安装，否者要下载java 1.6并且安装 安装java1.6 下载程序包/technetwork/java/javase/downloads/index.html 预备条件1 给下载下来的文件添加可执行权限 #chmod 755 XXXXXX 执行文件，才生一个rpm文件 ./XXXXXX 双击执行rpm文件 预备条件1 添加java环境变量 $vim ~/.bashrc 在文件最后添加以下三行 export JAVA_HOME=/usr/java/default export CLASSPATH=.:JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin $source ~/.bashrc 其中JAVA_HOME的位置要确认一下安装的目录是否是这个位置 再次检查java版本 预备条件2 使master可以以无密码的方式ssh登录到slaves上 生成各台机器的private key和public key $ssh-keygen (对所有提问按enter) 把master的public key拷贝到它自己和slaves机器上,把slaves上的public key拷贝到master上 $ssh-copy-id XXX 预备条件2 目录 Hadoop简介 HDFS (Hadoop Distributed File System) MapReduce Hadoop的部署 预备条件：ssh，jvm 参数设置：conf/* 启动hdfs和mapreduce 运行MapReduce任务 Master节点下载hadoop-0.20.2 从renren网镜像下载Hadoop文件 $wget /apache-mirror//hadoop/core/stable/hadoop-0.20.2.tar.gz 解压 重命名解压后的文件夹为hadoop Master节点下载hadoop-0.20.2 $wget /apache.mirror//hadoop/core/stable/hadoop-0.20.2.tar.gz $ tar –xf hadoop-0.20.2.tar.gz $mv hadoop-0.20.2 hadoop 设置conf/*里的文件 1. hadoop-env.sh 2. core-site.xml 3. mapred-site.xml 4. slaves 5. masters conf/hadoop-env.sh 添加JAVA_HOME变量 export JAVA_HOME=/usr/java/default conf/core-site.xml 添加 Hdfs://node50:9000，node50是主节点名 conf/mapred-site.xml 添加mapred.job.tracker conf/slaves 添加slaves机器名 云计算平台Hadoop的部署 目录 Hadoop简介 HDFS (Hadoop Distributed File System) MapReduce Hadoop的部署 预备条件：ssh，jvm 参数设置：conf/* 启动hdfs和mapreduce 运行MapReduce任务 历史 2002-2004: Apache Nutch 2004-2006: Google 发表 GFS 和