Hadoop伪分布式安装及其特点.pptx

郑美容 01目录Hadoop伪分布式安装02Hadoop伪分布式安装特点 Hadoop伪分布式安装及其特点1 Hadoop伪分布式安装伪分布式安装原理Hadoop在单节点上以伪分布式的方式运行，Hadoop进程以分离的java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。 Hadoop伪分布式安装1. 创建一个用户hadoop，当然也可以使用root用户操作。(我的是使用root操作)可以创建一个linux用户叫hadoop作为Hadoop的工作者，因为root下是很危险的。2. ssh配置在主节点中将公钥复制到需要免密登录的机器（服务器上），通过如下命令：(最好给本机主节点也copy一个，ssh-copy-id 本机ip或者主机名)（输入命令回车后需要输入目标ip的用户密码才能成功）ssh-copy-id 目标ip地址或者 ssh-copy-id -i ~/.ssh/id_rsa.pub 目标IP地址或主机名注意：copy-id的时候另一台机器的用户必须在线（因为一台Linux机器可以存在多个用户，需要把公钥复制到对应的服务器中对应的用户目录下，则该用户必须在对应服务器中在线），即机器必须是开启的。 Hadoop伪分布式安装子节点若是想连接主节点，则子节点中配置:ssh-keygen -t rsascp ./id_rsa.pub root@主节点IP:/root/.ssh/authorized_keys使用如下命令来连接节点：就是远程登录ssh 目标IP或者主机名注意：（1）配置ssh时候，作为namenode和resourcemanager的服务器需要配置ssh（即namenode和resourcemanager在同一台服务器上），即把该服务器的用户的公钥存储到其他所有节点ssh-copy-id。（2）如果namenode和resourcemanager不在同一台服务器上，那么两台机器都需要配置ssh，即两台服务器都需要把各自用户的公钥储存到其他所有节点，因为启动HDFS使用bin/hdfs namenode -format 和 sbin/start-dfs.sh(可以不加bin和sbin，因为配置了环境变量的)和启动resourcemanager使用sbin/start-yarn.sh需要访问其他节点。 Hadoop伪分布式安装3.解压配置JDK；4.解压配置Hadoop环境变量；5. 配置hadoop的配置文件；总共有5个文件需要修改：hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。这些文件的路径均是在${HADOOP_HOME}/etc/hadoop。当然，还要在/etc/hosts中添加: 本机ip 本机主机名 的映射关系。6.验证Hadoop。 Hadoop伪分布式安装特点这种运行模式是在单台服务器上模拟Hadoop的完全分布模式，单机上的分布式并不是真正的分布式，而是使用线程模拟的分布式。在这个模式中，所有守护进程(NameNode，DataNode，ResourceManager，NodeManager，SecondaryNameNode)都在同一台机器上运行。因为伪分布运行模式的Hadoop集群只有一个节点，所以HDFS中的块复制将限制为单个副本，其secondary-master和slave也都将运行于本地主机。此种模式除了并非真正意义的分布式之外，其程序执行逻辑完全类似于完全分布式，因此，常用于开发人员测试程序的执行。