模型调试（model debugging）

模型调试，是查清「一个机器学习模型为何失败、又该如何修复」的侦探活儿——是横在「模型建好了」与「模型可信了」之间那门凌乱却不可或缺的手艺。它不像调试寻常软件——这里没有一行写坏了的代码等你去找。模型是一堆学出来的数字，而一个错误答案，很少会告诉你它为什么错。你得像一名重建案发现场的侦探那样，去盘问行为、盘问数据、盘问模型的内部。

它的工具箱，就是这个领域里其余的一切，合在一起用。你去看那些错误，而不只是那个平均分——按子群体把表现切开，找出它在哪儿败得最惨。你怀疑虚假相关和捷径学习。你动用特征重要性、显著性图、各种解释工具，去追问模型倚仗的是什么。你核查校准与不确定性，看它知不知道自己何时心里没底。你拿分布偏移和对抗输入去测它。而关键在于：你常会发现，那个bug其实在数据里——一批标错的标签、一处数据泄漏、一个缺失的人群——压根不在算法上。

它之所以要紧，是因为单单一个准确率数字，是一句让人安心的谎言。一个模型可以考到95%，却在那最要紧的5%上崩坏得灾难性——一种罕见疾病、一个少数群体、一个关键的边缘个案。调试，正是把一个「平均而言管用」的模型，变成一个你能负责任地部署的模型的那件事。诚实的现实是：它是迭代的、不光鲜的、且永远没有真正完结的一天：你修好你能找到的，带着监控上线，然后接着盯——因为你尚未找到的那些bug，正是那些将在真实世界里冒头的。