做AB test時，我們設計好需要的sample size和時長，實驗過程中不能偷看，不應該因為看到p-value已經 significant就提早draw conclusion
在class 1時，case題Q19問到本來需要run兩週的實驗只能run三天，怎麼處理?
這樣算不算提早draw conclusion? 記得老師當時是說可以得到一些early indicator來做regression，這部分具體應該怎麼做? 當時也提到在實驗的部分需要做處理，不能按每個user來看，這部分也不懂是什麼意思? 如果三天已經significant，還需要上面這些操作嗎?
如果是严格按照a/b testing实验设计要求，那么及时第三天就signifcant, 也不能make conclusion, 一定要等到达到预先计算好的sample size的那一天，读取p-value并作决策。class 1中提出的问题是更加practical的问题，有些情况下，由于成本原因，公司不愿意等到a/b testing预定的conclusion date, 而是希望在很早的时刻得到“大概”正确的结果，从而实现快速的产品迭代。类似要求在用户转化周期很长的广告竞价问题中很常见。一个解决方法就是，把这个问题转化为correlation prediction，即根据历史上的ab testing结果，利用early signal建模进行预测。这样得到的结果不再能证明causal effect,当然也是不严谨的，不过能解决一些实际问题。