机器学习
欠拟合(underfitting)
/ UN-dur-FIT-ing /
欠拟合,是指一个模型太过简单,抓不住数据里真正的规律——简单到连它训练用的那些例子都做不好,更别说新例子了。想象用一条直线去概括一条蜿蜒的山路:无论你多小心地摆放那条线,它就是没法跟着弯道走。模型并不是把错的东西背了下来;它从一开始就缺乏学到对的东西所需的灵活度。
它是过拟合的镜像,而你靠一个标志性的信号就能认出它:连在训练数据上都表现糟糕。(相比之下,过拟合在训练数据上很漂亮,在新数据上却很差。)欠拟合通常意味着模型容量相对于问题太低了——参数太少、形式过于死板,或者还没来得及学就被叫停。用偏差-方差的话来说,一个欠拟合的模型偏差很高:它一致地、系统性地偏离。
它的补救方向,与过拟合的补救正好相反。给模型更多容量(更多参数、更丰富的形式)、喂给它信息量更大的特征、训练得更久,或者松一松过重的正则化。欠拟合之所以值得拥有自己的名字,是因为它容易被忽视:一个听惯了「当心过拟合」的初学者,可能会把自己的模型勒得太简单,简单到派不上用场。两种错误都会糟蹋一个模型;好的做法是在两者之间掌舵。
你用一条直线,从气温去预测冰淇淋的销量,可真实销量是一到天热就猛涨、随后趋于平稳。直线弯不下去,于是在大热天里预测偏低、在温暖天里预测偏高——既在训练数据上错,也在新日子上错。允许它用一条曲线,就能修好。
太简单,跟不上规律——连训练用的数据上都表现糟糕。
欠拟合最清晰的信号,就是连在训练数据本身上的准确度都很低。如果一个模型连它学过的例子都做不好,对症的药是更多容量或更好的特征——而不是更多数据,更不是更多正则化。
又称
另见