秒杀系统冷热数据收集与隔离技术实现.pdfVIP

第2章100W请求秒杀架构体系-冷热数据收集和隔

离

目标1：垂直日志收集实现

目标2：ApacheDruid海量日志实时分析

目标2：热点数据实现

目标4：Lua解析JWT令牌高效校验

1日志收集

日志在我们项目中是非常重要的，日志的作用也有差异，例如根据日志查找问题、根据日志做数据分析。在我们秒

杀系统中，活跃的热点商品其实并不多，我们往往需要对热点商品进行额外处理。用户每次抢购商品的时候，都是

从详情页发起的，因此统计热度商品，详情页的频次可以算一个方向，详情页的频次我们可以记录日

志，然后统计某一段时间的量，根据量评判商品是否是热点商品。

1.1业务分析

日志收集流程如上图，用户请求经过nginx，此时已经留下了用户对某个商品的，我们可以在这里将用户

的商品给我们kafka，采用大数据实时分析工具实时信息，再通过程序分析计

算情况。

1.2Kafka

从上面流程图中，可以看到实现日志收集中间件是MQ，我们秒杀系统中会MQ服务。

目前市面上成熟主流的MQ有Kafka、MQ、RabbitMQ、Act