ClickHouse在微信实验场景下的指标计算提效.pdfVIP

ClickHouse在微信实验场景下

的指标计算提效

赵朋磊-微信事业群-技术架构部

后台开发工程师

目录

1微信实验场景指标计算特点

A/BTest与实验平台、为什么需要实验平台、实验平台指标计算特点

业界指标计算方案及在实验场景下的问题、重新设计指标计算流程

2向量化存储结构设计与实现

存储数据分析、RoaringBitmapBit-SlicedIndex介绍

在压缩域高效计算-加法与减法、反解明细计算-乘法与除法

大于、小于、等于、不等于、大于等于、小于等于的实现

3应用效果：一些性能数据

1微信实验场景指标计算特点

微信实验场景指标计算特点

背景：A/BTest与实验平台

➢ABTest：将少量用户随机分为A组和B组，各使用一种产品策略。根据两组用户的行为数据，利用

统计学模型，判断哪种策略会显著提升业务指标（如人均阅读时长、广告收入等），进而帮助产品快

速迭代。举例：分享文章增加原创标志是否能提升点击率？

新策略：分享文章增加原创标记统计点击率等指标、假设检验业务决策

对照组点击率14.204%

实验组点击率14.417%考虑扩大流量

或者全量发布

相对提升+1.5%

统计上显著提升

➢实验平台将A/B测试平台化部署，为用户提供一个快准稳的指标结果及统计结论。

微信实验场景指标计算特点

为什么需要实验平台

➢微信日活10亿+，产品需要精细化运营1.01^365=37.80.99^365=0.03

➢获得一个数据是容易的，获得可信的数字是不容易的。实验平台负责规避统计陷阱

辛普森悖论其他统计陷阱

选择偏差

幸存者偏差

Peeking问题

学校招生有性别歧视？…

…

世界上有三种谎言：谎言、该死的谎言和统计

——马克·吐温

➢实验平台作为一个中间件，实现万亿级数据高效计算、稳定性保障及资源成本优化。

微信实验场景指标计算特点

实验平台指标计算特点

计算

➢指标的计算过程可以抽象为一个个窗口内计算，然后窗口之间再合并

➢离线指标：每个窗口是一天（结果：ds,metric_id,uin,val）

➢实时指标：窗口是分钟/十分钟等。窗口间的聚合逻辑可能是sum、max…

查询

➢获取统计推断结果的查询复杂度远高于单纯获取一个结果数字