Evaluate Churn Model

面经讨论
#1

给了一个表格是model的各种score的数字和curve图表，大概是这样：

img
img1842×1280 95.3 KB

有十多个组score，除了recall, precision, F1, ROC, AUC 以为还有些别的score， 基本都是80%+, 90+, 和其他两个level的差不多唯一记得有个大概是50%左右的特别一点。。。Curve应该是Lift Curve但我并不清楚怎么看。。
model分了三个level分别train，问针对low这档是否推荐用这个模型来predict churn，为什么？Threshold 0.48.

因为还有一些metrics我完全不认识，想请问老师：

  1. 一般还有些什么metrics会拿来用？对于churn model着重看哪几个的数字？(precision, recall 的tradeoff？）
  2. 这个Curve怎么看？
  3. 如果不推荐用的话要怎么做？ 我答的是看data 是否imbalance 然后调整。。面试官继续问如果不调整training data的话呢？–>这里接下来是不是要讨论overfitting和处理overfitting的方法了？
#2

  1. 其实一般来说是用你列举的这些来评判，而且precision，recall和F1具体是用哪个的话也要看你具体的需求了，这个题目就你给出的信息的话，关键点在于能不能接受这么低的precision，因为recall看起来已经很不错了。面试过程中就需要跟面试官去讨论precision对于你的业务的重要性的问题了，以及low这个档和high，medium的对比，最后来确定要不要用这个model。

  2. curve应该是precision recall curve，但是你的low那个我其实也不是特别理解，所以黑线是baseline？

  3. 不推荐的话，那可能就需要从多个方面进行调整了，你这个方向其实可以，但我可以提供别的几个思路，如调整threshold，拿到更多的数据或者更多feature，对数据的一些feature engineering，以及最后换model都是可以进行讨论的方向，具体还是看面试官如何想对你进行考察。

#3

谢谢老师！
2. 两条线一个是positive_0的一个是negative_1的结果的， 只是对于High和Medium这两档的都是有一条很平，Low的有变化

关于threshold这点，一般定什么数值呢？precisoin尽管只有五十多但还是比threshold高了，为什么需要调threshold？是往高调还是往低调？