Winner’s Curse: Bias Estimation for Total Effects of Features in Online Controlled Experiments
作者来自爱彼迎
关键词：在线测试；A/B测试；偏误修正; 多假设检验
1. 引言
AB测试是检验线上产品的重要手段，同时提供了大量因果性数据。归因分析被用于识别和量化用户对产品改进的反应过程。当衡量具体改进对总体ROI的效用时，误差通常会发生正向偏误，即 Winner’s Curse（赢家诅咒：拍卖赢家会支付大于拍卖品价值的价格，权重高的因素带来过高的影响）。业界通常扩大测试量来修正偏误，本文基于已有数据提供了低成本的修正方法。
2. 文献回顾
之前关于线上测试的文章较少讨论不同测试目标和场景下产品改变对总体的效用，对导致赢家诅咒的原因仅讨论了导致偏误的部分原因和相关指标。更一般的情况，偏误回归分析也有大量的应用，包括目标假设，特征和模型选择等。而本文的贡献在于提供了量化特征选择的方法，而不仅仅是对特征本身的选择。
3. 规则
假设我们已有n个线上测试，需要考察对目标（比如用户留存）的增量优化效果。
3.1 前提假设
假设效用的估计满足可加性，由于同时在同用户群展开的测试相互不独立，除非加大数据量，仅对基于同一目标展开的连续测试使用其可加性。同时假设Xn在同一概率空间内同分布时，有固定的μ和σ。另外只选择显著性大于阈值的样本。
3.2 对偏误的估计
首先，估计的效用大于真实的效用，β=E[S_a ]-E[T_a ]>0，每个测试的偏误均大于0。下图是真实效用与偏误的关系：
修正后的估计〖T ̂=S〗_a-β ̂，接近无偏，即使数据的方差和均值独立，高斯假设下的t检验可得该估计仍然无偏。
3.3 总期望效用
考虑总效用，目标函数为TA | A。总效用的无偏估计在条件无偏的情况下也是条件概率的MLE。然而TA | A不能完全移除偏误，比如在假阳性的的测试下，TA优于TA | A，此缺陷仍然未逃出经验贝叶斯的框架，在线上测试较少时不适用。
3.4 自助置信区间
通常使用的Naïve-CI，Bootstrap-CI存在偏误，本文提出的Debiased Bootstrap-CI基于(T_A ) ̂的经验分布来修正此问题。
4. 基于一个假设分布的测试
1000组测试，估计效用SA和真实效用TA关系如下，圈的大小表示显著的测试数：
总体估计效用和真实效用的关系：
95%置信区间下的收敛度：
5. 对市场动态的实证分析
5.1 爱彼迎面对很多特征来优化供给和需求来最大化利润与周转。本次24个测试在有6个在时间上部分重叠。对特征显著性取α=0.05。下图的bottom-up对应估计效用，holdout对应相同特征在其他测试的用户群的效用（可认为接近真实效用），中间是偏误修正后的效用。
5.2 在爱彼迎平台上的验证
将检测有效的特征用在自测UI设计平台上，投放到真实用户开始迭代，可直接返回对相关测度（比如订单量）的修正结果，有效提高了测试数据的可解释性并缓和测试外用户对特征有效性可能带来的影响。
5.3 实践经验
不同公司在AB测试时可能会面对不同场景，我们总结的经验可以结合具体情况使用：1） 单次测试尽可能提高目标用户覆盖率，2）特征集对目标测度的影响尽可能独立，即不要恶化其他指标，3）holdout的用户仅用于第二阶段的验证，在时间和划分上尽量与所测特征隔离。4）当p值刚刚跨过显著水平时，尤其要避免只选对结论有利的测试的情况发生，可选择测试序列和测试簇总体偏误来避免此情况。
6. 总结
尽可能降低在线测试的成本，高效获取无偏的测试结果是我们的目标。面对实际情况，我们在相同的偏误下做了更少的测试。
