Hadoop单机模式的安装以及执行WordCount程序要点详解.docx

工学院 实验报告 课程名称： 分布式系统及云计算概论 实验项目名称： Hadoop安装以及执行WordCount程序 学 院： 工学院 专业班级： 姓 名： 学 号： 指导教师： 2014年 6 月 16 日 实验目的 在虚拟机Ubantu上安装Hadoop单机模式并且执行WordCount程序。 实验仪器 硬件：虚拟机Ubantu 软件： Windows 7操作系统 实验原理 基于云计算的Hadoop实现。 WordCountWordCount 例子读取文本文件，并统计文件中单词出现的频数。WordCount对于hadoop的重要性，相当于HelloWorld对于JAVA的重要性。如果你想学习MapReduce变成模型，那么学习WordCount是一个最好的开始。输入输入包含一组文件，文件中含有很多单词输出输出是一个文本文件，文件的每一行包含一个单词和这个单词在所有输入文件中出现的次数。输入样例input1:hello world bye worldinput2:hello hadoop bye hadoop输出样例:bye 2hadoop 2hello 2world 2 四、实验内容及步骤 实验内容： ?一、安装Linux操作系统? 二、在Ubuntu下创建Hadoop用户组和用户 ?三、在Ubuntu下安装JDK? 四、修改机器名? 五、安装ssh服务? 六、建立ssh无密码登录本机? 七、安装Hadoop? 八、在单机上运行Hadoop 九、Hadoop执行WordCount程序 实验步骤： 一、安装Linux操作系统 在虚拟机上使用镜像安装好Ubantu 12.04系统，此处不多做介绍，建议安装的时候修改成中文版，更将有利于接下来的步骤。 二、在Ubuntu下创建Hadoop用户组和用户 这里考虑的是以后涉及到Hadoop应用时，专门用该用户操作。用户组名和用户名都设为：hadoop。可以理解为该hadoop用户是属于一个名为hadoop的用户组，这是linux操作系统的知识，如果不清楚可以查看linux相关的书籍。 1、创建Hadoop用户组，如图（1） 2、创建Hadoop用户，如图（2），除了Full name自己设置以外，其他的都可以直接Enter进入默认设置。 3、给Hadoop用户添加权限，打开/etc/sudoers文件，如图（3） 按回车键后就会打开/etc/sudoers文件了，给Hadoop用户赋予root用户同样的权限。在root???ALL=(ALL:ALL)???ALL下添加hadoop???ALL=(ALL:ALL)??ALL，如图（4） 4、此时就可以重启Ubantu进入新建的hadoop组了，选择的是你新建的hadoop组的Full name那个用户组，如下图所示，我设置的是hadoop01，所以我重启进入的就是hadoop01. 三、在Ubuntu下安装JDK 选择的是jdk1.6.0_30版本。安装文件名为jdk-6u30-linux-i586.bin. 1、复制jdk到安装目录 （1）假设jdk安装文件在桌面，我们指定的安装目录是：/usr/local/java 。可是系统安装后在/usr/local下并没有java目录，这需要我们去创建一个java文件夹，如图（5） （注：此时我已经进入了hadoop01了） （2）切换到桌面下，执行复制，如图（6） 2、安装jdk （1）切换到root用户下，如图（7） （注：如果因忘记密码而认证失败，可以先修改root用户的密码，再执行第（1）步，修改root用户密码如图（8）） （2）运行jdk-6u30-linux-i586.bin，如图（9） 注：可能此时仍然没有执行权限，那是因为在linux中，文件的默认权限是644，即使是属主用户也没有执行权限，这时我们需要更改其权限，如果你想知道某个文件的权限，可以进入该文件所在的文件夹，执行命令ls –la 查看。这里将jdk-6u30-linux-i586.bin文件的权限改为777，即文件的属主用户，属组用户和其他用户对该文件拥有所有权限，当然不推荐对系统中的文件这样设置权限，因为这样就破坏了linux的安全性。） 更改jdk-6u30-linux-i58