我们知道run test前需要确定sample size
那这里的standard error是基于哪个population来计算的呢？是否是基于所有用户在该test metric来计算的？
根据定义，这里的 sigma^2 是population variance. 当然我们一般来说是不知道population的metric的，那么我们可以用sample data，通过sample variance (的修正版本)来估计population variance. 这里说的用来估算expected standard error的sample data，一般是来自于historical data.