[AB Test] duration和traffic的選擇

在class 1時,case題Q17問到如何選擇一周實驗20% traffic vs. 兩周實驗10% traffic?

記得老師當時是說要依案例具體分析,我們應該朝哪個方向分析比較合適?

这两种方法得到的sample size是几乎一样的,区别在于运行时间。一般来说, 我们倾向于用较短的时间conclude实验。但是,如果要测试的改动容易被primacy effect or novelty effect影响的话,我们可以适度地拉长试验运行时间。