最新国家开放大学电大《大数据技术导论》实验报告实验2 Hadoop开发环境部署.pdfVIP

国家开放大学：《大数据技术导论》实验报告

实验2Hadoop开发环境部署

Hadoop是一个能够对大数据进行分布式处理的软件架构，其可以通过可靠、高效、可伸

缩的方式进行数据处理。Hadoop技术是推动大数据应用的重要引擎之一，可以使用该技术收

集、清洗和分析大量结构化、半结构化和非结构化数据。运行环境部署是一项技术要求较高，

但必须掌握的技术。Hadoop是大数据分布式处理平台，在大数据离线处理方面，尤其是批处

理中得到了广泛的应用。

1.实验目的

通过Hadoop环境部署实验练习，学生可以掌握Hadoop系统安装方法、伪分布式Hadoop

的安装方法和Eclipse开发环境的安装具体过程与使用方法，并能够灵活运用，进而为解决

大数据分析问题奠定环境构建与部署的基础，不仅为后续的基于Hadoop环境的各个实验建立

基础，而且可以提高工程实践能力。

2.实验要求

在理解本实验相关理论的基础上制订安装计划，独立完成Hadoop开发环境部署过程，主

要内容如下所述。

(1)制订安装计划。

(2)安装SSH协议。

(3)安装0penJDK1.8开发环境。

(4)Hadoop系统部署。

(5)伪分布式Hadoop环境部署。

(6)Eclipse开发环境