泛化（generalization）

泛化，是指一个模型在它从未见过的数据上也能表现良好——而不只是在它学过的那些例子上。这正是机器学习的全部要义。一个见过几只狗的孩子，能认出一个他从没碰过的品种；这种从具体例子跃向一条管用规则的飞跃，就是泛化。一个只会背出练习题答案的模型，什么有用的东西都没学到，就像死记一份考卷，对另一场考试毫无帮助。

我们用诚实的办法来衡量它：在训练时把一部分数据藏起来，不让模型看，然后在这份留出的数据上测试。在训练例子上表现强、在留出例子上表现弱，就意味着模型过拟合了——它背下的是怪癖和噪声，而不是真正的规律。反过来的毛病，是连训练数据上都表现糟糕，那叫欠拟合：模型太简单，根本抓不住规律。好的泛化，正是在这两者之间穿行。

要紧的是，泛化从来没有保证，也从来不是无条件的。模型只能泛化到与它训练数据相似的数据上。用大晴天的照片训练出的模型，到了雨天可能就失灵；用一家医院的病人训练，换到另一家可能就跌跤。这种世界一变就崩塌的情形——分布漂移——是真实系统失败时最常见、却最被低估的方式之一。泛化是一个充满希望、并由审慎测试支撑的赌注，而不是一句承诺。