电大《大数据技术导论》实验4 大数据去重.docxVIP

实验4 大数据去重 1.实验目的 通过Hadoop数据去重实验，学生可以掌握准备数据、伪分布式文件系统配置方法，以及在集成开发环境Eclipse中实现Hadoop数据去重方法。 2.实验要求 了解基于Hadoop处理平台的大数据去重过程，理解其主要功能，并能够在Hadoop环境下独立完成。 （1）制订实验计划。 （2）准备数据。 （3）伪分布式文件系统配置。 （4）在集成开发环境Eclipse中实现Hadoop数据去重。 3.实验内容 （1）制订实验计划。 （2）进入“/usr/local/hadoop”目录。 （3）准备数据。 （4）修改“/usr/local/hadoop/etc/had