之前面試被問到:
After you came up with model and conclusion, how and what would you cooperate with engineering team? How did you get them to implement your model into production?
請問老師這樣的問題應該往什麼方向回答? 完全沒有思路!!
这个问题完全是开放式的，我在这里提一些我的想法，同学们可以一起讨论:
首先要确认Production的应用场景，需要online realtime inference, 还是offline batch inference.
- 如果是realtime inference的话，在实现的过程中就需要注意latency的问题，这里可能涉及到model complexity 与 accuracy的tradeoffs。此外，一些标准的要注意的metric: service QPS等等。
- 如果是offline batch inference, 那么几乎没有系统实时性要求，直接用data pipeline就可以解决。
此外需要注意的点还包括：feature distribution monitoring & alerting，model output alerting。