实验文档3-Hadoop部署与操作.pdfVIP

Hadoop 大数据技术实验资料 airyqin Hadoop 大数据管理与分析处理平台 部署实验手册 CentOS 6 集群下部署Hadoop (Airy qin) 1 Hadoop 大数据实验实战资料 （请勿在互联网上传播） 启动两台虚拟客户机： 打开VMware Workstation10 打开之前已经安装好的虚拟机：HadoopMaster 和HadoopSlave 出现异常，选择“否”进入 2 Hadoop 大数据实验实战资料 （请勿在互联网上传播） 如果之前没有打开过两个虚拟机，请使用“文件”-“打开”选项，选择之前的虚拟机安装包（在一体软件包里面 的） 第1 步 Linux 系统配置 以下操作步骤需要在HadoopMaster 和HadoopSlave 节点上分别完整操作，都使用root 用户，从 当前用户切换root 用户的命令如下： su root 输入密码：zkpk 3 Hadoop 大数据实验实战资料 （请勿在互联网上传播） 本节所有的命令操作都在终端环境，打开终端的过程如下图的Terminal 菜单： 终端打开后如下图中命令行窗口所示。 1. 拷贝软件包和数据包 将完整软件包“Hadoop In Action Experiment”下的software包和sogou-data 整体拖拽到HadoopMaster 节点的桌面上，并且在终端中执行下面的移动文件命令： mv ~/Desktop/software ~/ 4 Hadoop 大数据实验实战资料 （请勿在互联网上传播） mv ~/Desktop/sogou-data ~/ 1.1 配置时钟同步 1.1.1 配置自动时钟同步 使用Linux命令配置 crontab -e 键入下面的一行代码： 输入i，进入插入模式 0 1 * * * /usr/sbin/ntpdate 1.1.2 手动同步时间 /usr/sbin/ntpdate 1.2 配置主机名 1.2.1 HadoopMaster 节点 使用gedit 编辑主机名 gedit /etc/sysconfig/network 配置信息如下，如果已经存在则不修改，将HadoopMaster 节点的主机名改为master，即下面代码的第3 行 所示。 NETWORKING=yes #启动网络 NETWORKING_IPV6=no HOSTNAME=master #主机名 确实修改生效命令： hostname master 检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端： hostname 执行完命令，会看到下图的打印输入： 5 Hadoop 大数据实验实战资料 （请勿在互联网上传播） 1.2.2 HadoopSlave 节点 使用gedit 编辑主机名 gedit /etc/sysconfig/network 配置信息如下，如果已经存在则不修改，将Hadoopslave 节点的主机名改为 slave，即下面代码的第3 行所 示。 NETWORKING=yes #启动网络 NETWORKING_IPV6=no HOSTNAME=slave #主机名 确实修改生效命令： hostname slave 检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端： hostname 执行完命令，会看到下图的打印输入：