关于在analysis阶段，把new visitors和old visitors的treatment effect分开讨论。这里分开讨论的具体实践该怎么操作？
是分别对new visitors和old visitors做hypothesis testing？如果new visitors 的p value大于0.05，但old visitors的p value小于0.05。说明是novelty effect。需要考虑增加实验时间？
你说的是对的。如果担心有novelty or primacy effect的话，且在enrollment阶段没有做预先处理的话，我们只能在最后的数据分析阶段把数据分成new visitors and old visitor，然后只用new visitors数据作分析。对于old visitors数据，有可能包含这些effect, 也有可能不包含，这是无法测试或者消除的。用old visitor数据与new visitor数据比较是一个方法，但是无法确认这个差别一定是由novelty or primacy effect导致的。