模仿学习（imitation learning）

教一个人开车，最快的办法不是一本规则手册——而是让他坐在一位老司机旁边，看老司机在每种情形下怎么做，照着学。模仿学习给机器抄的正是这条近路：与其让系统在无尽的试错中自行摸索出好的行为，不如把专家做这件事的录像给它，训练它去模仿。

每一段示范，都是一串「情形」以及专家在其中所采取的「动作」。最简单的形式叫行为克隆，它把这当成普通的监督学习：情形是输入，专家的动作是正确标签，模型学着把前者映射到后者。这绕开了强化学习里最难的那部分——设计奖励信号、并安全地探索——这也正是模仿学习在机器人和自动驾驶里受欢迎的原因，因为在真实世界里随机试错，要么危险，要么慢得不可能。

它最大的弱点，是一个滚雪球式的难题。模型只见过专家到过的那些情形；而专家既然高明，就很少陷入麻烦。于是模型头一回犯个小错、漂进一个陌生的状态时，它没有可照抄的示范，便做出更糟的选择，漂得更远，错误层层累加。补救之法是有的——让专家在模型实际到达的状态里去纠正它，或者掺进强化学习——但纯粹的模仿，其上限也终究不会高过那位示范者，而且它会不声不响地把专家的好习惯和坏习惯一并学去。