实验追踪（experiment tracking）
/ ek-SPER-uh-ment TRAK-ing /
实验追踪，是这样一种做法：为每一次训练运行，把你究竟做了什么、又发生了什么，原原本本地记下来——你选的设置、用的数据和代码、得到的结果。造一个好模型，意味着要尝试几十乃至上百种变体：不同的学习率、不同的数据、不同的架构。没有记录，这很快就乱成一锅粥。实验追踪，就是机器学习的实验记录本，为每一次尝试忠实地记上一笔日记，好让你真能从这一大堆里学到东西。
具体说来，一个追踪工具会记下每次运行的设置（所谓「超参数」）、它用了哪份数据和哪个版本的代码、以及它在每项指标上得了多少分——再让你把多次运行并排比较。这回答了一个萦绕每个机器学习从业者心头的问题：「上周二我得了个绝佳的结果——我到底做了啥？」没有追踪，那份知识便蒸发掉；最好的结果变得无法复现，你也分不清某个改动到底有没有帮上忙，因为一下子变动的东西太多了。
为什么这很重要：追踪把瞎扑腾变成了科学。它让结果可复现、让比较公平、让进步是真实的，而不是隔着玫瑰色眼镜回忆出来的。诚实的提醒是：它是一份纪律，而非魔法——它只能捕捉你记得去记的东西，而一次被追踪的实验，可信到什么程度，全看其背后的严谨。把一切都记下来、却从不控制变量，到头来你不过是为一个杂乱、没有定论的过程，留了一份整齐的记录。工具帮得上忙；那份谨慎的实验思维，仍然得靠你自己。
在 40 次被自动记录下来的训练运行中，一张图把准确度对学习率画了出来。第 23 次跑高踞顶端；一点之下，它确切的设置、数据版本、代码提交一览无余——于是团队能随时复现它，而不必去猜是什么让它与众不同。
最好的那次运行，唯有当你能复现它时才有用——这正是记录为你换来的东西。
追踪记录的是「发生了什么」；它并不让实验变得严谨。要是你一次改了五样东西，再完美的日志也告诉不了你究竟是哪一样起了作用。靠得住的结论，需要的是受控的比较，而不只是详尽的记录。