“大数据技术导论”课程实验报告.docxVIP

“大数据技术导论”课程实验报告 实验题目：Hadoop原理与技术 实验环境：海豚人工智能与大数据实验室 Linux Ubuntu 16.04 前提条件： 1）Hadoop 3.0.0 的单点部署完成 2）Java 运行环境部署完成 实验内容： Hadoop单点的部署，安装和管理 1.首先来配置SSH免密码登陆 双击桌面命令行终端，SSH免密码登陆需要在服务器执行以下命令，生成公钥和私钥对 ssh-keygen -t rsa 直接回车，创建完成 此时ssh公钥和私钥已经生成完毕，且放置在~/.ssh目录下。切换到~/.ssh目录下：cd ~/.ssh 可以看到~/.ssh目录下的文件 2.测试ssh 执行ssh localhost测试ssh配置是否正确：ssh localhost 一次使用ssh访问，会提醒是否继续连接 输入yes 后续再执行ssh localhost时，就不用输入密码了 退出：exit 3. 创建安装目录：sudo mkdir /apps 为/apps目录切换所属的用户为dolphin及用户组为dolphin sudo chown -R dolphin:dolphin /apps 4. 配置HDFS 实验室已经在/data/hadoop目录下载好了安装包： jdk安装包：jdk-8u161-linux-x64.tar.gz hadoop安装包：hadoop-3.0