云计算MapReduce和HDFS的实验报告.docVIP

实验报告书 课程名： 云计算技术 题 目： 实验四 MapReduce和HDFS的实验 实验类别 【验证】 班 级： 学 号： 姓 名： 评语： 评语： 实验态度：认真（ ） 一般（ ） 较差（ ） 实验结果：正确（ ） 部分正确（ ）错（ ） 实验理论：掌握（ ） 熟悉（ ） 了解（ ） 生疏（ ） 操作技能：较强（ ） 一般（ ） 较差（ ） 实验报告：较好（ ） 一般（ ） 较差（ ） 成绩： 指导教师： 　 批阅时间： 年 月 日 《软件开发基础实验(1)-JAVA》实验报告 - PAGE 4 1．实验内容 客户机与HDFS交互 提交作业 2．实验目的 Hadoop日常操作 3．实验步骤 Hadoop有两个重要的模块：MapReduce和HDFS，HDFS是一个分布式文件系统，用于存储数据，MapReduce是一个编程框架，Hadoop中运行的程序均是MapReduce作业，一个作业分为若干个Map任务和Reduce任务。 3.1、客户机与HDFS进行交互 3.1.1客户机配置 可以查看HDFS中的数据，向HDFS中写入数据。 选择一台机器，该机器可以是Hadoop集群中的节点，也可以是集群之外的机器。下面说明在namenode（即192.168.8.56）上操作与HDFS交互。 3.1.2 列出HDFS根目录/下的文件 [root@hadoop1 ~]# hadoop dfs -ls / Found 3 items drwxr-xr-x - hadoop supergroup 0 2010-05-21 00:42 /tmp drwxr-xr-x - hadoop supergroup 0 2010-05-21 00:53 /user drwxr-xr-x - hadoop supergroup 0 2010-05-21 00:55 /usr 第一列是目录权限，第二列的hadoop是目录拥有者，第三列是组名，第4列是目录大小(单位是B)，第5列是目录的绝对路径。这里表示/目录下有三个目录。这里的用户hadoop是安装hadoop的用户，是超级用户，相当于Linux操作系统的root用户，组supergroup相当于root用户组。 3.1.3 列出当前用户主目录下的文件 Hadoop默认当前HDFS中的用户就是当前登录客户机的用户。 [root@hadoop1 ~]# hadoop dfs –ls ls: Cannot access .: No such file or directory. 提示不能访问时因为hdfs中没有/user/root目录。 注意：这里的当前用户主目录是客户机中当前登录用户的主目录，即HDFS中的“/user/用户名”目录，由于当前是root用户登录，命令“bin/hadoop dfs –ls”访问的是HDFS中的“/user/root目录”。此时若/user/root目录不存在，则会出现上面的提示。 由于HDFS中不存在root用户，所以客户机当前登录用户无法向HDFS中写入数据，因为对HDFS中的所有目录没有写权限，只有r读权限。要使当前用户能够向HDFS中写入数据，必须在HDFS中创建root用户并且创建相应目录，赋予相关权限。 总之，HDFS的用户权限和Linux一样重要。 3.1.4 HDFS用户管理 创建HDFS用户需要使用hadoop用户登录客户机器，并且执行hadoop相关命令。由于Hadoop默认当前HDFS中的用户就是当前登录客户机的用户，所以当前HDFS用户即为Hadoop超级用户hadoop。 Hadoop似乎没有提供创建用户的命令，但要在HDFS中创建用户和用户组可以这样做。 (i)Hadoop超级用户hadoop在hdfs中创建目录/user/root， 即 hadoop dfs -mkdir /user/root (ii)更改/user/root目录所属用户和组， 即hadoop dfs -chown -