第6章-Hadoop安装和部署.ppt

第6章 Hadoop安装和部署 * 6.1 Hadoop安装环境 在Windows下安装Hadoop 安装Cygwin（一个在Windows平台下模拟Linux环境的工具） 通过Cygwin安装Hadoop 在Mac OS操作系统下安装Hadoop 利用Mac OS下的Homebrew来自动下载安装Hadoop Homebrew是一种软件包管理器，类似于Ubuntu下的apt工具 Linux平台下安装Hadoop 都需要下载安装JDK和SSH * 6.2 Hadoop实验集群的部署结构 一个Hadoop集群由一个Master节点和多个Slave节点组成 从HDFS角度，Hadoop集群的节点分为两大类角色：NameNode和DataNode 从MapReduce角度，Hadoop集群的节点分为两大类角色：JobTracker和TaskTracker Master节点配置NameNode和JobTracker的角色 负责管理分布式数据和分解任务的执行 Salve节点配置DataNode和TaskTracker的角色 负责分布式数据存储以及任务的执行 * Hadoop部署结构 * 6.3 Hadoop安装部署 Hadoop的安装模式 单机模式 Hadoop默认的安装模式 运行在本地文件系统上，不与其它节点交互 不使用HDFS 也不加载任何Hadoop的守护进程 伪分布模式 在本地文件系统上运行，但它运行的是HDFS NameNode、DataNode、JobTracker和TaskTracker全部部署在一台机器上，在一台机器上模拟分布式部署 集群模式 运行在多台机器的HDFS上 * Hadoop伪分布式安装配置 * 1、设置静态IP地址 IP地址设置完成后，重启网卡： service network restart * 2、设置DNS解析 Hadoop 集群之间通过主机名互相访问，因此需要设置DNS解析 设置主机名：编辑配置文件“/etc/sysconfig/network” 设置节点IP与主机名的映射：编辑文件“/etc/hosts” 验证配置：执行“ping master”命令。 * 3、关闭防火墙 在linux下防火墙被称作“iptables”，使用命令查看服务iptables的状态，验证防火墙的关闭： service iptables status 如果命令执行后提示信息为“iptables:Firewall is not running”，说明防火墙已经被关闭。 * 4、设置SSH自动登录 Hadoop的进程之间使用SSH方式通信 设置SSH的免密码登录方式后，用户只在第一次登录时输入一次密码，以后都可以免密码直接登录 使用rsa加密方式生成密钥：ssh -keygen -t rsa 生成授权文件：进入密钥目录~/.ssh，执行命令生成授权文件（authorized_keys）： cp id_rsa.pub authorized_keys 验证SSH无密码登录：ssh localhost * 5、安装JDK Hadoop的编译和MapReduce程序的运行都需要使用JDK 复制、解压JDK文件，重命名解压缩目录。 把jdk 的命令配置到环境变量中：配置文件“/etc/profile” export JAVA_HOME=/usr/local/jdk export PATH=.:$PATH:$JAVA_HOME/bin 使文件中的设置生效：source /etc/profile 验证安装是否成功：“java -version”命令 * 6、安装Hadoop 复制、解压Hadoop安装包。 重命名解压缩目录。 设置环境变量，配置文件“/etc/profile”： export HADOOP_HOME=/usr/local/hadoop export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH 使文件中的设置生效：source /etc/profile * 7、修改Hadoop配置文件 环境变量脚本文件hadoop-env.sh，设置jdk的安装位置 核心配置文件core-site.xml，Hadoop运行临时文件的主目录，设置HDFS的访问路径 HDFS配置文件hdfs-site.xml，设置文件块（Block）的存储副本个数 MapReduce配置文件mapred-site.xml，设置JobTracker的访问路径 * 8、使用Hadoop 对Hadoop进行格式化： hadoop namenode -format 启动Hadoop：start-all.sh。启动5个进程，分别是namenode、d