受控实验：12年A B n测试验与教训.pdfVIP

受控实验：12年运行A/B/n测试的教训12年

罗恩・科哈维区域经理兼总工程师，分析与实验部微软，州贝尔维尤，

RonKohavi@

互联网为连接软件的开发者（包括、应用程序和设备）了一个前所未有的机会，通

过使用可靠的受控实验（例如A/B测试及其推广）快速准确地评估想法，从而加速创新。从前

端用户界面更改到后端推荐系统和相关性算法，从搜索引擎（如、微软的Bing、

Yahoo）到零售商（如亚马逊、eBay、Netflix、Etsy）再到社交网络服务（如、

LinkedIn、）再到旅行服务（如Expedia、Airbnb、B）以及许多初创公

司，现在各种公司都在利用受控实验进行数据驱动决策。尽管受控实验的理论很简单，

可以追溯到20世纪20年代英国Rothamsted农业实验站的SirRonaldA.Fisher的实验，但大规

模部署和挖掘受控实验（例如Bing每天运行数百个实验）以及在数十个和应用程序

中部署受控实验，使我们学到了许多教训。我们一个介绍，