凸幾何與離散幾何

分離超平面定理(separating hyperplane theorem)

若兩群人站在兩邊、中間有空隙,你可以沿著空隙拉一條直繩,讓一群人嚴格留在左邊、另一群嚴格留在右邊。分離超平面定理把這件事對凸集說精確了:兩個不重疊的凸集可以被一面平牆分開,每邊各一個集合。它是線性分類器存在的幾何理由、凸對偶的基石,也是哈恩-巴拿赫定理的有限維投影。

最乾淨的版本:設 A、B 是 R^n 中非空且不相交的凸集。則存在非零向量 u 與數 c,使對所有 x 屬於 A 有 <u, x> <= c、對所有 y 屬於 B 有 <u, y> >= c——一個超平面 <u, x> = c 把 A 留在一側、B 留在另一側。若又有 A 緊、B 閉(且兩者不相交),則分離是嚴格的:存在縫隙 <u, x> <= c1 < c2 <= <u, y>,使牆兩側都有餘裕。對「一點與一閉凸集」的證明思路:取集合中離外點 p 最近的唯一點 q;以 p - q 為法向、過中點的垂直平分超平面便把它們分開——最近點的唯一性正是凸性發力之處。

這一個定理驅動了驚人之多的東西:線性規劃的對偶、經濟學中支撐價格的存在(第二福利定理)、支援向量機中的間隔、法卡斯引理,以及賽局論中的極小極大定理。兩個誠實的提醒。其一,僅僅不相交一般只給出弱(非嚴格)分離——兩個不相交的凸集可能「漸近相切」(如 y = e^x 下方的區域與 y <= 0 的區域),沒有嚴格縫隙,所以要得到嚴格分離必須在某處假設緊性。其二,在無窮維中需要集合有非空內部,或小心地動用哈恩-巴拿赫;單憑閉性並不夠。

在 R^2 中設 A 是以原點為心的閉單位圓盤、B 是單點 (3, 0)。它們是不相交的凸集,鉛直線 x = 2 嚴格分離它們:A 的每點都有 x <= 1 < 2 < 3,而 3 是 B 的 x 座標。A 中離 (3,0) 最近的點是 (1,0);分離方向 u = (1,0) 恰是 (3,0) - (1,0) 規範化後的方向,正說明了最近點構造。

圓盤與外部一點被一條鉛直線分開;法向沿著「最近點指向外點」。

兩個集合都凸是不可少的。兩個像拼圖那樣互相咬合的非凸集——比方兩個套疊的 C 形——即使不相交也無法被任何超平面分開。本定理只為凸集換來分離,這正是許多問題要先「凸化」的緣故。

又称
geometric Hahn-Banach theoremhyperplane separation分離定理