偏差-變異權衡

偏差-變異權衡（bias-variance tradeoff）解釋了為什麼模型的預測誤差來自兩個彼此拉扯的來源。偏差（bias）是模型太簡單、抓不到真正模式所造成的誤差（它系統性地偏掉）；變異（variance）是模型太靈活、以致於去追逐這個特定樣本裡的隨機雜訊、一換新資料就劇烈改變所造成的誤差。

拉扯之處在於：壓低其中一個通常會抬高另一個——非常簡單的模型偏差高但變異低，非常複雜的模型則相反，而最佳點是在未見資料上讓「總誤差」最小的那個中間複雜度。這一個概念正是看待配適不足、過度配適的視角，也是我們使用正則化與交叉驗證的原因。