二零二三年 优质公开课Hash算法去重.pptx

Hash 算法去重;了解hash去重;1.Hash 简单介绍2.单向性3.映射分布均匀性4.重复数据删除技术; hash 算法 Hash一般翻译为散列，或音译为哈希，就是把任意长度的输入（称为预映射） 通过Hash算法变换成固定长度的输出，该输出就是Hash值。 这种转换是一种压缩映射， Hash值的空间通常远小于输入的空间。 Hash 算法的数学表述为：CA= Hc（content） 其中： Hc---单向 Hash 函数，content---任意长度字符串，CA---固定长度 Hash 值。 ;从预映射，能够简单迅速的得到Hash值，而在计算上不 可能构造一个预映射，使其Hash结果等于某个特定的Hash值，即构造相应的content=Hc-1 （CA） 不可行。 第二：抗冲突性（collision-resistant），即在统计上无法产生 2 个 Hash 值相同的预 映射。给定 content，计算上无法找到 content′，满足 Hc（content）=Hc（content′），此 谓弱抗冲突性；计算上也难以寻找一对任意的 content 和 content′使满足，此谓强抗冲突 性; Hash 结果中，为 0 的 位 和为 1 的 位，其总数应该大致相等；输入中一个位的变化，Hash 结果中将有一半以上的位改变， 这又叫做雪崩效应（avalanche effec