太好了，你被批准发布了!您需要为生产准备好解决方案，特别是将生产输入数据源插入到系统中并编写测试。

您还需要编写监控代码来定期检查系统的实时性能，并在它下降时触发警报。这一点很重要，不仅要捕捉到突然的破裂，还要注意性能的下降。这是很常见的，因为随着时间的推移，模型往往会“腐烂”，除非模型定期接受新数据的训练。

评估系统的性能需要对系统的预测进行采样并对其进行评估。这通常需要人的分析。这些分析师 可以是现场专家，也可以是众包平台上的工人(比如Amazon Mechanical Turk或CrowdFlower)。无论哪种方式，都需要将人的评估通过管道插入到系统中。

您还应该确保评估系统的输入数据的质量。有时性能会因为劣质信号(例如一个故障传感器发送随机值，或另一个团队的输出变得陈旧)而轻微降级，但在系统性能下降到足以触发警报之前可能需要一段时间。如果您监视系统的输入，您可能会更早地发现它。监控输入对在线学习系统尤其重要。

最后，您通常希望使用新的数据定期训练您的模型。您应该尽可能地自动化这个过程。如果你不这样做，你很有可能每六个月更新一次你的模型(最多)，而你的系统的性能可能会随着时间的推移而大幅波动。如果您的系统是一个在线学习系统，您应该确保您定期保存其状态的快照，这样您就可以轻松地回滚到以前的工作状态。