模型的训练能力和部署能力是两种独立的能力

很多人以为"模型训练好了 = 可以上线"，但实际上训练和部署面临完全不同的挑战：训练追求精度最大化，部署追求精度-延迟-成本的帕累托最优；训练可以用大量计算资源慢慢跑，部署必须在毫秒级响应；训练的数据是静态的，部署面对的数据是流式的、有噪声的、会漂移的。同一个人或同一个团队很少同时精通这两个领域。