实验2 Hadoop开发环境部署.docxVIP

实验2 Hadoop开发环境部署 Hadoop是一个能够对大数据进行分布式处理的软件架构，其可以通过可靠、高效、可伸缩的方式进行数据处理。Hadoop技术是推动大数据应用的重要引擎之一，可以使用该技术收集、清洗和分析大量结构化、半结构化和非结构化数据。运行环境部署是一项技术要求较高，但必须掌握的技术。Hadoop是大数据分布式处理平台，在大数据离线处理方面，尤其是批处理中得到了广泛的应用。 1.实验目的 通过Hadoop环境部署实验练习，学生可以掌握Hadoop系统安装方法、伪分布式Hadoop的安装方法和Eclipse开发环境的安装具体过程与使用方法，并能够灵活运用，进而为解决大数据分析问题奠定环境构建与部署的基础，不仅为后续的基于Hadoop环境的各个实验建立基础，而且可以提高工程实践能力。 2.实验要求 在理解本实验相关理论的基础上制订安装计划，独立完成Hadoop开发环境部署过程，主要内容如下所述。 （1）制订安装计划。 （2）安装SSH协议。 （3）安装OpenJDK1.8开发环境。 （4）Hadoop系统部署。 （5）伪分布式Hadoop环境部署。 （6）Eclipse开发环境的安装。 3.实验内容 （1）制订实验计划。 （2）完成SSH协议安装。 （3）完成OpenJDK1.8安装。 （4）完成Hadoop系统部署。 （5）完成伪分布式Hadoop环境部署。 （6）完成Eclipse开发环境的安装。 4.实验总结 通过本实验，使学生了解Hadoop的特点和总体结构，理解MapReduce程序的执行过程，掌握伪分布式Hadoop的安装方法和Eclipse开发环境的安装与使用方法。 5.思考拓展 （1）为什么需要安装SSH协议？说明SSH协议功能及安装方法。 （2）为什么需要安装OpenJDK1.8软件？说明OpenJDK1.8功能及安装方法。 （3）结合MapReduce程序执行过程，说明其并行处理的特性。 （4）结合Hadoop的处理过程，说明其离线处理特点。 （5）说明分布式Hadoop处理与伪分布式Hadoop处理的区别。 （6）说明Eclipse开发环境的优势。 答：Hadoop开发环境部署方法如下 Hadoop 伪分布式配置 创建Hadoop用户: sudo useradd -m hadoop -s /bin/bash # 创建hadoop用户 sudo passwd hadoop # 修改密码 sudo adduser hadoop sudo # 增加管理员权限 Shell 命令 \o 复制代码 \o 查看纯文本代码 注销并使用 Hadoop 用户登录，接着更新 apt 并且安装 vim： sudo apt-get update # 更新apt sudo apt-get install vim # 安装vim Shell 命令 \o 复制代码 \o 查看纯文本代码 安装SSH，配置无密码登录: sudo apt-get install openssh-server cd ~ mkdir .ssh # 可能该文件已存在，不影响 cd ~/.ssh/ ssh-keygen -t rsa # 会有提示，都按回车就可以 cat id_rsa.pub authorized_keys # 加入授权 Shell 命令 \o 复制代码 \o 查看纯文本代码 安装Java环境: sudo apt-get install openjdk-7-jre openjdk-7-jdk vim ~/.bashrc # 设置JAVA_HOME Shell 命令 \o 复制代码 \o 查看纯文本代码 在文件最前面添加如下单独一行： export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 使 JAVA_HOME 变量生效： source ~/.bashrc # 使变量设置生效 Shell 命令 \o 复制代码 \o 查看纯文本代码 安装 Hadoop 2: cd ~/下载 sudo tar -zxvf ./hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中 cd /usr/local/ sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop sudo chown -R hadoop ./hadoop # 修改文件权限 Shell 命令 \o 复制代码 \o 查看纯文本代码