Hadoop实验手册.doc

Hadoop云计算环境搭建 2011-12 目录 1、编写目的 1 2、概述 1 3、虚拟机下linux系统的安装 1 3.1 使用工具的版本 1 3.2 创建虚拟机 1 3.3 安装Ubuntu 2 3.4 激活root用户 3 3.5 安装增强功能 3 4、Ubuntu系统下相关必要软件的安装 5 4.0 系统文件分布情况 5 4.1 安装SSH 5 4.2 安装vim 5 4.3 安装与配置JAVA 5 5、安装Hadoop 5 5.1 安装 5 5.2 配置JAVA与Hadoop环境 6 6、Hadoop完全分布模式配置 7 6.1 配置各机网络 7 6.2 SSH配置 9 6.3 配置Hadoop 9 6.4 Hadoop运行 11 6.5 测试wordcount案例 11 6.6 HDFS里的一些常用命令 12 7、HBase完全分布模式配置 14 7.1 安装 14 7.2 配置HBase环境 14 8、Hive安装与配置 16 8.1 安装 16 8.2 配置Hive环境 16 1、编写目的 本文的编写主要是为了记录以Hadoop为基础架构的云计算环境的搭建步骤，以及搭建过程中需要进行的配置和注意事项。本次安装涵盖了硬件环境及其操作系统、虚拟机、虚拟机操作系统Ubuntu、jdk、ssh、hadoop、hbase等一系列软件的安装和配置。从第8章开始为补充内容，即Hive的安装与配置。 2、概述 Hadoop是一个分布式存储和分布式计算的开源实现，它采用Master/Slave架构，即它包含一个Master节点，一个或多个Slaves节点，由Master对Slaves进行统一管理。为了节省硬件资源，本次安装在虚拟机上进行。 本次需要安装配置20台虚拟机，每台虚拟机的基本信息如下表： 主机名设置 IP设置 作用 安装软件 NameNode01 Hadoop Master节点 jdk、ssh、hadoop、hbase DataNode01 1 Hadoop Slave节点 Jdk、ssh、hadoop DataNode02 2 Hadoop Slave节点 Jdk、ssh、hadoop DataNode03 3 Hadoop Slave节点 Jdk、ssh、hadoop …. DataNode20 0 Hadoop Slave节点 Jdk、ssh、hadoop 其中——0作为备用IP，以设置SecondNameNode节点。 3、虚拟机下linux系统的安装 3.1 使用工具的版本 VirtualBox-4.0.8-71778-Win.exe ubuntu-10.04.1-desktop-i386.iso（其他版本可能有问题） 3.2 创建虚拟机 A）打开VirtualBox，新建——新建虚拟电脑，名称用Ubuntu B）设置内存大小（1G），虚拟机内存一般不要超过实际内存的一半 C）创建硬盘，虚拟硬盘类型选择动态扩展 D）确定虚拟硬盘所在的位置，大小为50G（视硬盘容量适可而行，如果作为实验平台，数据量不大，按默认设置就可以了。） E）修改启动顺序：去掉软驱，硬盘放在光驱前面 3.3 安装Ubuntu 3.3.1 在设置里，在Storage项里找到ubuntu系统所在的位置 3.3.2 点开始进行安装 A）语言：中文简体；安装Ubuntu10.04.1 LTS B）地区：亚洲；时区：中国（上海） C）键盘布局：US D）清空并使用整个硬盘 E）用户名称设定， 名字用：CloudUser 登录名用grid，即以后的平台操作用户。 名称用NameNode01、DataNode01形式，按序排列命名。 3.4 激活root用户 sudo passwd root 更改root密码（密码统一用ub） su root 进入root用户，设置root登录密码。 3.5 安装增强功能 安装增强功能后，可以和主机共享数据，这样Ubuntu虚拟机可以访问XP的分区了，默认虚拟机分辨率比较低，安装完增强功能后，可以显示更大的分辨率。 1）切换root用户登录，因为root用户才有权限，设置、安装增强功能。 （注：在ubuntu 11.10下面如果无法运行，可以在终端里面键入sudo sh 然后将VboxLinuxAddition.run拖入终端，回车即可运行安装。安装完成后提示“press return to close this window”，按Enter键即可。） 2）共享数据，选择分配数据空间 进入终端，首先建立在Linux系统里的共享文件夹，/home/grid/share；为了便于访问，给与其全部的权限；同时将vboxsf的共享文件挂载在其上；共享成功，打开文件夹，即可看到相关的文件