HFile布隆过滤器块存储机制.pdfVIP

《071_HFile

中的布隆过滤器块是如何的？》｜end▁of▁

sentence｜

但是有一个问题，如果

HFile

里的数据很多，那么不可能就一个布隆过滤器数组然后

都放在内存里，内存占用太大了，所以实际上后续做了优化，每个

HFile

都有多个布隆过

滤器数组，每个数组对应一个

Bloom

Block，每个布隆过滤器就是由部分数据的

ro

wkey

计算组成的。｜end▁of▁sentence｜

大家还记得在

load‑on‑open

部分，有一个

Bloom

Index

Block，里面包含了版本、

TotalByteSize（数组大小）、NumChunks（Bloom

Block

的数量）、HashCount（

hash

函数的个数）、HashType（hash

函数的类型）、TotalKeyCount（当前包含的

key

的数量）、TotalMaxKeys（最多能包含的

key

的数量）等数据，这些都不是重点，最

关键的是包含了多个

Bloom

Index

Entry。｜end▁of▁sentence｜

每个

Bloom

索引条目指向一个

Bloom

块，Bloom

块都放在扫描块部分中，里面包含

BlockOffset（Bloom

块的偏移量）、BlockOndiskSize、BlockKyeLen、BlockKey（布