[Waymo 面经] Verify whether a test function is valid

[Sunflower]

现场coding题。

1. 给定一个function f, 假设这个 f 可以实现假设检验的功能，比如正态分布的均值检验（H0：\mu = 0, 方差已知），请问如何verify f 的有效性？
   （我的思路是用simulation去verify type I error是否小于给定的significance level.）
2. 假设有另一个function g, g和f有相同的功能，请问如何判定哪个function更好？
   （我的思路是用simulation算f和g的power，哪个power更大就说明哪个更好）

老师和同学们有什么更好的思路吗？欢迎一起讨论，谢谢~

[miao.wang]

我觉得你的思路是合理的。我简单说一下我的思路，欢迎大家一起讨论：

1. Verify f有效性的方法：检测 f 是否能够在我们自己构造的 (sample) 数据中，reject 95% confidence interval 范围之外的H0, not reject 95% confidence interval范围之内的H0 （当然，这里假定你的significance level预设为0.05）。也就是说，自己构造一个分布，算出95% confidence interval。然后选几个H0，分别让f去判断，看一下结果是否和我们自己构造的结果一样。
2. 你这里其实是在比较type II error rate，我觉得是合理的。也就是说，你认为，f,g预设的significance level都是一样的，因此控制的type I error rate一样。那么要比较他们的好坏的话，只能检测它们的type II error rate, 也就是1 - power。我觉得是合理的做法。

[Sunflower]

谢谢老师的解答！看来我的intuition是正确的