大数据时代下数据重删的考虑.docx

? ? ? ? ? ? ? ? [付费] 大数据时代下数据重删的考虑 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ????? 大家周末愉快，今天是我首次推送有偿文章阅读，平时工作比较忙，只有在下班后尽可能挤时间总结一些平时工作中遇到的技术问题，并及时分析给大家，但是最近每次看到文章的阅读量，发现关注我们公众号的粉丝人数和阅读量相差甚大，感觉我的积极性和主动性每次都收到了打击，啊。这次推送有偿阅读主要目的，一方面是想了解下到底有多少忠实读者在默默关注支持我，另一方面通过投票也想大家反馈下自己关注的内容，以便我以后有针对性的进行文章内容调整。 ??? ? 因为最近跟数据重删压缩打交道比较多，所以今天的话题也是重删压缩。在备份、主存储及AFA存储中，重删压缩功能可以说是必选项，但是站在用户角度和存储厂商角度我们会面临这两个需要取舍的困窘。 ????? 站在用户角度，从理论上来说，删除重复数据是会减少数据的可靠性，特别是在备份场景中。备份的目的就是为了提高数据的可靠性，但重删之后，这些重复数据都不存在了。但有付出就有收获，我们获得了存储空间上的节省，可以写更多数据进来。同时，之前的重复数据不是一种有规划的重复，重复数据应该怎么分布，如何避免某一个磁盘、磁盘框、机柜损坏之后，数据还可以读出来等等都没有考虑。 ????? 为了提高数据可靠性，可以