四两拨千斤——HyperLoog在大数据统计中应用.pdfVIP

应用4:四两拨千斤——

HyperLogLog

在开始这一节之前，我们先思考一个常见的业务问题：如果你负责开发

一个大型的，有一天找产品经理要每个网页每天的

UV数据，然后让你来开发这个统计模块，你会如何实现？

如果统计PV那非常好办，给每个网页一个独立的Redis计数器就可

以了，这个计数器的key后缀加上当天的日期。这样来一个请求，

incrby一次，最终就可以统计出所有的PV数据。

但是UV不一样，它要去重，同一个用户一天之内的多次请求只能

计数一次。这就要求每一个网页请求都需要带上用户的ID，无论是登录

用户还是未登录用户都需要一个唯一ID来标识。

你可能已经想到一个简单的方案，即为每个页面创建一个独立的set集

合来所有当天该页面的用户ID。当一个请求到来时，我们使用

d将用户I合

sadD添加到集合中。通过scard可以获取该集的大小，这

个数字就是该页面的UV数据。没错，这一个非常简单的方案。