hadoop的运行环境配置.pptVIP

基于Hadoop平台的并行编程实践 李东秀 内容介绍 熟悉hadoop配置环境 搭建实验 平台 编写 （矩阵相乘）运算的 map， reduce函数 在hadoop实验 平台上实现 配置计算环境： 1个Master、3个Slave的Hadoop集群 Apache软件基金会下的一个开源分布式计算平台 以Hadoop的HDFS和MapReduce为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。 一个HDFS集群是由一个NameNode和若干个DataNode组成的。 MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。 1.1 Hadoop简介 HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。 集群中包括4个节点：1个Master，3个Salve，节点IP地址分布如下： ???????localhost20???ubuntu121???ubuntu222???ubuntu323???ubuntu4 1.2环境说明 1.3hadoop的主从节点结构分解 2.1在所有的机器上建立相同的用户 对每个系统进行系统名和ip地址的配置 必须在所有的机器上建立相同的用户，设置每个系统的ip地址。 2.2配置NameNode和DataNode 配置hosts文件 修改每台机器的/etc/hosts(包括namenode和datanode) ） ???????localhost20???ubuntu121???ubuntu222???ubuntu323???ubuntu4 2环境说明和安装配置SSH 2 .2安装配置SSH 安装和启动SSH协议 yum install ssh 安装SSH协议 yum install rsync service sshd restart 启动服务 ?配置Master无密码登录所有Salve Hadoop运行过程中需要管理远端Hadoop守护进程，在Hadoop启动以后，NameNode是通过SSH来启动和停止各个DataNode上的各种守护进程的。 SSH安装配置 这就必须在节点之间执行指令的时候是不需要输入密码的形式，故我们需要配置SSH运用无密码公钥认证的形式，这样NameNode使用SSH无密码登录并启动DataName进程，同样原理，DataNode上也能使用SSH无密码登录到NameNode。 在用户目录下建立ssh的安装目录，之后设置权限 Master机器上生成无密码密码对,追加权限 注意：目录要设成700 有执行权限authorized_keys要设成600 否则会出错还有ssh 登陆要加入用户名的 SSH配置 用root用户登录服务器修改SSH配置文件/etc/ssh/sshd_config，无密码登录本级已经设置完毕，接下来的事儿是把公钥复制所有的Slave机器上 配置所有Slave无密码登录Master 和Master无密码登录所有Slave原理一样，就是把Slave的公钥追加到Master的.ssh文件夹下的authorized_keys中 这样就建立了Master和Slave之间的无密码验证相互登录 SSH配置 安装jdk1.6.45 环境变量配置 编辑/etc/profile文件，在后面添加Java的JAVA_HOME、CLASSPATH以及PATH内容。 export JAVA_HOME=/usr/java/jdk1.6.0_31 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 使配置生效 （重要） source /etc/profile 验证 Slave安装jdk： Master下的JDK复制到其他Slave的/home/hadoop/下面剩下的事儿就是在其余的Slave服务器上按照步骤安装JDK。 3 jdk安装配置 首先在namenode上配置，配置后在分发到datanode上 在“/usr/hadoop”下面创建tmp文件夹 安装 把/usr/hadoop读权限分配给hadoop用户 配置hadoop 配置hadoop-env.sh 使得能够找到java的路径 export HADOOP_HOME=/usr/had