网络工程小组云算学习研究进度.docVIP

网络工程小组云计算学习研究进度 组长：谭旭 组员：曹辉、邢宇佳、严焘、刘英杰、韦冰 概述：这两周的学习中，小组主要以学习为主，掌握hadoop的基本结构，并且搭建hadoop平台，其中也出现了相当多的问题。 Hadoop的组成块 NameNode:最重要的后台程序，在HDFS中NameNode是master/slave结构中的master，它指导slave数据节点运行低级别的I/0任务。NameNode在HDFS中起了管理者的作用，记录文件怎样分别存放在不同的节点上，负责整个分布式文件系统的正常运转。 DataNode：每一个集群的slave机上都要运行一个DataNode后台程序。当要读或写一个HDFS文件时，文件被分散到不同的DataNode上，NameNode会告诉客户这些分散的块在那些DataNode上，客户将直接访问DataNode上的块进行操作。不同的DataNode也可能拥有相同的文件块做备份。 Secondary NameNode(SNN):SNN是辅助NameNode指导运行HDFS的，它需要运行在一台独立的机器上，SNN与NameNode的不同之处是他不记录HDFS的实时变换，它间歇性的将HDFS元数据记录备份，其目的也是为了保证NameNode出错时的正常恢复。 JobTracker：JobTracker是连接程序和Hadoopde 纽带，在一个Hadoop集群中只有一个，当客户提交代码给集群时，JobTraker负责决定执行的细节，包括分配任务等。 TaskTracker：JobTracker负责一个MapReduce任务的整体规划指导，而TaskTracker则负责一个slave机上具体任务的执行。 hadoop安装过程 平台：Redhat，linux内核版本：2.6.18 安装 jdk 由于redhat自身携带的java版本是1.4，而官方推荐的版本是1.5，目前又无法找到较旧的jdk版本，本组就暂用jdk1.7。 执行rpm -ivh jdk-1_7_0-linux-i586.rpm 设置环境变量 export JAVA_HOME=/usr/java/jdk-1.7.0 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin 删除软连接 ?ln -s /usr/java/ jdk-1.7.0/bin/java javaln -s /usr/java/ jdk-1.7.0/bin/javac javacln -s /usr/java/ jdk-1.7.0/bin/javah javahln -s /usr/java/ jdk-1.7.0/bin/javadoc javadoc?? 查看jdk版本证明安装成功： 配置ssh 查看ssh是否已经安装 [root@localhost]# which ssh /usr/bin/ssh [root@localhost]# which sshd /usr/bin/sshd [root@localhost]# which ssh-keygen /usr/bin/ssh-keygen 生成ssh key pair [root@localhost]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter fi le in which to save the key (/home/hadoop-user/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identifi cation has been saved in /home/hadoop-user/.ssh/id_rsa. Your public key has been saved in /home/hadoop-user/.ssh/id_rsa.pub. 更改$HADOOP_HOME/conf/中的xml实现为分布式系统 core-site.xml ?xml version=”1.0”? ?xml-stylesheet type=”text/xsl” href=”confi guration.xsl”? !-- Put site-specifi c property overrides in this fi le. -- confi guration property namefs.default.name/n