Hadoop平台的分布式重删存储系统研究.pdfVIP

Hadoop平台的分布式重删存储系统研究 荆东星 【摘要】在本篇文章当中，我们针对数据中心存在大量的数据冗余的问题进行 了简单的探讨，并且对于备份数据造成的存储容量浪费现象，提出了一种基于 Hadoop平台的分布式重复数据删除解决方案。 【期刊名称】科技风 【年(卷),期】2019(000)020 【总页数】1 【关键词】Hadoop；分布式重删；存储系统 一、我们对于重复数据删除技术进行研究和探讨分析 我们可以从图 1 当中了解到，对于删除重复数据技术来讲，它内在的主要思想 是：可以将存入到内部的数据进行分割成块，接着对于这一类的数据