燕山大学软件工程《大数据原理与技术》实验报告.doc

大数据原理与技术实验报告 Principle and Technology of Big Data Report 所在学院：软件学院 所在班级： 学生姓名： 学 号： 指导教师： 教 务 处 实验一 Hadoop环境安装和使用 实验目的 1、掌握linux系统的安装调试，熟悉linux的用户管理和软件安装相关命令，熟悉linux下软件的使用； 掌握Hadoop的安装调试和使用。 一、实验内容 linux系统安装，按照Hadoop环境要求，安装相应版本的linux系统。 2、配置Hadoop的相关系统环境。 = 3 \* Arabic 3、安装配置Hadoop软件。 二、实验步骤 1、操作系统安装，Hadoop的运行环境为64位linux系统，本过程通过在虚拟机上安装ubuntu 64位系统来模拟。 在vmware workstation上新建一台虚拟机，利用镜像文件ubuntu-desktop-amd64.iso，在虚拟机上安装 ubuntu系统。（镜像文件同学们可以从网上自己下载/download/desktop，也可以从实验室飞秋共享下载。） 2、在安装的虚拟机 Ubuntu系统中增加一个名为 hadoop 的用户，使用此用户来安装运行Hadoop。 如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户。建立用户时候注意相关权限。 （1）创建Hadoop用户 （2）为新用户设置密码 （3）为hadoop用户增加管理员权限 3、更新apt源。 用 hadoop 用户登录后，我们先运行apt-get update对软件源进行更新，思考为何要更新。 （1）更新apt （2）更新完成 4、安装SSH、配置SSH无密码登陆。 集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），Ubuntu 默认已安装了 SSH client，此外还需要安装 SSH server。自行查找相关资料，如何配置实现系统的SSH无密码登录。 （1）安装SSH server （2）使用ssh localhost命令登陆本机 （3）利用ssh-keygen生成密钥，并将密钥加入到授权中 （4）使用ssh localhost 命令直接登陆(配置成SSH无密码登陆) 5、安装Java环境。 （1）安装JDK(由于Ubuntu16.04版本没有openjdk-7的安装包，所以需要下载openjdk安装包源) （2）找到用于配置JAVA_HOME环境变量的路径 （3）配置JAVA_HOME环境变量 （4）检验是否设置正确 6、安装 Hadoop 2。 （1）校验下载的文件是否完整 （2）将Hadoop安装至/usr/local/中 （3）检查Hadoop是否可用 Hadoop伪分布式配置 修改配置文件 core-site.xml 修改配置文件 hdfs-site.xml： 配置完成后，执行 NameNode 的格式化: ./bin/hdfs namenode -format 开启hdfs:./sbin/start-dfs.sh 通过命令 jps 来判断是否成功启动: 运行Hadoop伪分布式实例 首先需要在 HDFS 中创建用户目录 查看运行结果的命令（查看的是位于 HDFS 中的输出结果）： 启动Yarn 首先修改配置文件?mapred-site.xml，这边需要先进行重命名： 接着修改配置文件?yarn-site.xml： 然后就可以启动 YARN 了（需要先执行过?./sbin/start-dfs.sh）： 关闭Yarn 实验二 HDFS 应用 实验目的 1、掌握HDFS的shell客户端的使用方法 2、掌握HDFS的java客户端编程； 实验内容 1、HDFS的开启和关闭。 2、基于SHELL的客户端命名使用，包括put，get，mkdir等基本操作。 3、java客户端编程实现判断路径是否存在，读写文件等操作。 实验步骤 开启HDFS 2、测试开启是否成功 3、关闭HDFS 4、shell命令的使用： （1）在创建/user/hadoop作为hdfs的用户根目录：bin/hdfs dfs -mkdir -p /user/hadoop。 （2）将本地路径复制到该目录下：bin/hdfs dfs -put ... 创建文件： （3）查看详情：bin/hdfs dfs -ls （4）将hdfs文件系统下的文件复制到本地：bin/hdfs d