云计算虚拟化hadoop实验报告.docVIP

四 川 大 学 计 算 机 学 院、软 件 学 院 实 验 报 告 学号: 姓名： 专业： 班级： 9 第 15 周 课程名称 ? 云计算与分布式系统 实验课时 6 实验项目 在最终部署的Hadoop上运行WordCount程序 实验时间 2015年6月11日星期四 实验目的 首先通过Linux系统和KVM虚拟机的安装达成对Linux系统与虚拟机相关知识的了解和熟悉； 通过Linux下JAVA-ADT的安装以及Hadoop的相关配置了解Hadoop的基础知识及基础的应用方法； 通过多台主机的虚拟化以及Hadoop的联合部署，在该平台上运行WordCount程序，体验基本的云计算的雏形应用并加深对云计算相关知识的了解。 实验环境 硬件环境：PC机 软件环境：Ubuntu镜像，Linux镜像以及KVM虚拟机程序包 实验内容（算法、程序、步骤和方法） 实验背景 在云计算及其相关应用日益火爆的今天，我们通过课堂上老师讲述的云计算相关的基本知识，已经对于利用Hadoop的配置实现一个较为简单的云计算环境有了一定的认识，因此，在本课程的期末设计中，我们采用Linux下的Hadoop搭建来运行一些简单的程序比如Wordcount来达成对云计算的实现的基本知识的学习效果； 本实验中使用的是MapReduce的编程模型，采用“分而治之”的基本思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是任务的分解与结果的汇总； 在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker，JobTracker是用于调度工作的，TaskTracker是用于执行工作的。一个Hadoop集群中只有一台JobTracker； 但是值得注意的一点是若要使用本实验中的MapReduce来处理数据集（或任务），其必须具备如下特点：待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。 Linux及KVM虚拟机安装 首先我们找到比较常用的Linux适用版本镜像文件，这里我们使用的是图形化做得非常好的Ubuntu 14.04，然后使用UltraISO做出一个启动盘并在电脑上做出一个双系统，分区大小我们参照网络上的建议将主分区目录设置为20G，成功做出一个Linux系统（这里我忘了截图了） 装机的过程和下面的虚拟机装机是一样的。 然后我们在完成Linux下的基础软件安装的情况下进行程序的KVM虚拟机安装，首先使用如下指令：$ egrep -o (vmx|svm) /proc/cpuinfo检查Linux是否支持安装KVM，结果显示是可以安装的，于是我们这里使用指令：$ apt-get install qemu-kvm libvirt-bin virt-manager bridge-utils安装KVM虚拟机，安装过程是自动完成的，如下图所示： 经验证我们发现KVM是安装成功并且正常运行的，安装成功的验证指令为：# lsmod | grep kvm，到这里KVM的安装就基本完成了。 然后我们需要在KVM上创建一个虚拟机，具体操作步骤如下：在根下创建images目录，在images下创建iso和test目录。 之后我们使用指令：virt-install --name ubuntutest --hvm --ram 1024 --vcpus 1 --disk path=/images/test/disk.img,size=10 --network network:default --accelerate --vnc --vncport=5911 --cdrom /images/iso/ubuntu-15.04-server-amd64.iso –d创建虚拟机，至此我们基本完成了前期的基础性工作，操作流程图如下所示： 虚拟机装机界面： 虚拟机创建完成之后还可以使用# virsh list –all指令验证虚拟机是否存在，以及# virsh start VMNAME指令启动虚拟机 SSH的创建及使用 首先创建Hadoop用户组，使用指令： $ sudo addgroup hadoop,然后创建一个Hadoop用户，使用如下指令： $ sudo adduser -ingroup hadoop hadoop,并且为用户添加权限，使用如下指令：$ sudo gedit /etc/sudoers,操作截图如下所示： （接上） 实验内容（算法、程序、步骤和方法） 然后我们使用新增加的Hadoop用户登录Ubuntu系统，之后我们使用指令