hadoop的配置.docxVIP

一、Hadoop基本介绍Hadoop优点1.高可靠性：Hadoop按位存储和处理数据2.高扩展性：Hadoop是在计算机集群中完成计算任务，这个集群可以方便的扩展到几千台3.高效性：Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度快4.高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配5.低成本：Hadoop是开源的，集群是由廉价的PC机组成Hadoop架构和组件Hadoop是一个分布式系统基础架构，底层是HDFS（Hadoop Distributed File System）分布式文件系统，它存储Hadoop集群中所有存储节点上的文件（64MB块），HDFS上一层是MapReduce引擎（分布式计算框架），对分布式文件系统中的数据进行分布式计算。1.HDFS架构NameNode：Hadoop集群中只有一个NameNode，它负责管理HDFS的目录树和相关文件的元数据信息Sencondary NameNode：有两个作用，一是镜像备份，二是日志与镜像定期合并，并传输给NameNodeDataNode：负责实际的数据存储，并将信息定期传输给NameNode2.MapReduce架构（Hadoop0.23以后采用MapReduce v2.0或Yarn）Yarn主要是把jobtracker的任务分为两个基本功能：资源管理和任务调度与监控，ResourceManager和每个节点（NodeManager）组成了新处理数据的框架。ResourceManager：负责集群中的所有资源的统一管理和分配，接受来自各个节点（NodeManager）的资源汇报信息，并把这些信息按照一定的策略分配给各种应用程序（ApplicationMaster）。NodeManager：与ApplicationMaster承担了MR1框架中的tasktracker角色，负责将本节点上的资源使用情况和任务运行进度汇报给ResourceManager。?? ? ? ? ? ?MapReduce v1.0框架（图1）??? ? ? ? ? ? MapReduce v2.0框架（图2）修改主机名，配置静态ipHostname:查看当前主机的主机名Hostname newhostname 临时修改当前主机名通过配置文件修改主机名Vi /etc/sysconfig/network 通过配置文件修改主机名 NETWORKING=yes HOSTNAME=NEWHOSTNAME修改该值作为主机名网络配置vi /etc/sysconfig/network-scripts/eth0 //编辑指定网络接口配置文件DEVICE=eth0 //指定接口名称ONBOOT=yes //系统启动时加载BOOTPROTO=static //IP地址静态配置，若该值为“dhcp”则为动态获得IPADDR= //设置IP地址NETMASK= //设置子网掩码GATEWAY=54 //设置默认网关修改hostsvi /etc/hosts localhost.localdomain localhost //该行强烈建议保留 rhel //必须有三个字段：IP、FQDN、HOSTNAME2、安装jdk（必须安装1.6或者更高版本）配置jdk环境变量注意：进入编辑模式：i ,退出编辑模式esc，保存退出：wq,大小写有关系如果不想重启系统，可以使用命令source /etc/profile使配置文件立即生效，否则只有从新启动系统才能是配置参数生效问题：为什么用java –version显示jdk的版本，不是我安装的那个版本，用javac –version显示的是我安装的版本。（是因为环境变量的路径配置的不对，修改一下，就好了。）java -version显示不一样的版本，这个显示的是你系统默认给你安装的jdk，执行java -version命令时候它会首先找默认的，如果你想要指向到自己的jdk上你需要设置你的环境变量3、安装ssh，建立ssh无密钥连接用命令查看系统中OpenSSH软件包的安装情况Rpm –aq|grep ssh查看软件包的具体信息Rpm –iq openssh设置密钥然后执行密钥内容解说：输入 ssh-keygen –t rsa 回车，出现如下内容Generating public/private rsa key pairEnter file in which to save the key (/root/.ssh/id_rsa)://密钥保存位置，直接回车保持默认Create directory/root/.ssh/Enter passphrase(empty for no passphrase):设置密钥的密码，空密