核技巧（kernel trick）
/ KER-nul trik /
核技巧是一手漂亮的數學障眼法：它讓一個只會畫直線的方法，能畫出彎曲的邊界，卻始終不必離開自己的舒適區。想像紅點圍成一個小圓，外面又被一圈藍點包住。桌面這張平面上，沒有任何一條直線能把它們分開。但把裡圈的紅點從桌面抬起來——給每個點一個等於它到圓心距離的高度——此刻，一張平整的紙片就能乾淨俐落地從抬高的紅點與低伏的藍點之間滑過。把資料映射到更高的維度，一個彎曲的問題就變成了筆直的問題。
妙就妙在「不必」二字。真的去算那些新的高維座標，代價會高得離譜，有時甚至是無窮的。竅門在於，許多演算法——尤其是上面的支持向量機——自始至終只需要點對點之間的點積，一個衡量兩點有多「對齊」的單一數字。核函數就是一條捷徑：它直接返回那個相似度數字，彷彿這些點已被抬進高維空間，而所有算術卻仍在原來的低維空間裡完成。你享了抬升之利，卻沒付抬升之費。
不同的核編碼著不同的「相似」概念：多項式核允許邊界像多項式那樣彎曲，而廣受歡迎的RBF（高斯）核衡量的是一種柔和的、基於距離的接近，能雕出非常靈活的形狀。正是這一點，讓支持向量機在1990至2000年代得以對付雜亂的非線性資料。誠實的提醒是：核越靈活，就越容易過擬合，而選核及其設定是一門要靠反覆試驗、而非照方抓藥的藝術。
紅點聚在中央，藍點圍成一圈包在外面——沒有直線行得通。施展核技巧：給每個點加上第三個座標，等於它到圓心距離的平方。此刻紅點高高浮起，藍點低低伏著，一張平面就從它們之間滑過。回到桌面上，這張平面投影下來，正好是一個圓。
在抬升後的空間裡切一刀直的，投影回來就成了一條曲線。
其精髓在於，你從不真的去計算那些高維座標——核函數直接返回「彷彿你算過」的相似度，全程都在原空間裡運作。越靈活就意味著過擬合的風險越大，所以一個強力的核，仍然需要小心地調。