随机实验AA问题的系统解决-2024大数据大模型峰会.pdf

随机实验AA问题的系统解决

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

演讲人：万博揆–滴滴出行数据科学中台

DataFunCon#2024

Contents

目录

背景重随机

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

1.1问题描述2.1分析阶段的优化方案

1.2AA问题的系统性梳理2.2设计阶段的优化方案

1.3AA测试与重随机的互补2.3设计与分析的统一优化方案

1.4回顾性AA分析与重随机的互2.4重随机的注意事项

补2.5数据验证

2.6运行示例

2.7各业务场景下的验证

2.8对比其他设计阶段的方案

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

01、背景

1.1问题描述

问题在一次给定的AB实验中，分流是否均匀？

AB实验的范围：

实验周期长度不超过1个月的按人群分流的随机实验

定义仅包含一个实验组与一个对照组

均匀的分流的定义：

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

假设对实验人群没有进行实验，保持原来的实验分组，观测到两组间核心指标差异不显著

不可观测可观测基于观测结果的推断

分流是均匀的核心指标差异不显著结论：策略没有效果

影响

策略没有效果

分流是不均匀的核心指标差异显著结论：策略有效果

注：均匀分流对实验结果可信度影响的示意图

1.2AA问题的系统性梳理

做法：对实验组人群与对照组人群运行相同的策略，其他方面与AB实验完全一致

AA测试作用：保证数据质量的可信度与实验思路可以走通

实验设立阶段

（AATesting）注意事项：运行相同策略（e.g.验证系统）/重现历史数据（e.g.假设检验）

QA：技术相关问题/P值分布相关问题

做法：选择在核心指标上最均匀的种子用于AB实验的分流

“大模型”与“大数据”两者犹如车之双轮，合力驱动数据价值和企业价值的增长。大数据和大模型，作为双核驱动力，正在引领我们迈向更加智能、高效和便捷的时代。

重随机作用：实验前减小不均匀分流出现的可能

实验设计阶段