最新国家开放大学电大《大数据技术导论》实验报告实验4 大数据去重.docxVIP

最新国家开放大学电大《大数据技术导论》实验报告 实验4 大数据去重 1.实验目的 通过Hadoop数据去重实验，学生可以掌握准备数据、伪分布式文件系统配置方法，以及 在集成开发环境Eclipse中实现Hadoop数据去重方法。 2.实验要求 了解基于Hadoop处理平台的大数据去重过程，理解其主要功能，并能够在Hadoop环境下 独立完成。 (1)制订实验计划。 (2)准备数据。 (3)伪分布式文件系统配置。 (4)在集成开发环境Eclipse中实现Hadoop数据去重。 3.实验内容 (1)制订实验计划。 (2)进入“/usr/local/hadoop”目录。 (3)准备数据。 (4)修改