奇異值分解

核(跡)範數

核範數是對一個矩陣奇異值最簡單的概括:把它們全部加起來。||A||_* = sigma_1 + sigma_2 + ... + sigma_r。譜範數取最大值,弗羅貝尼烏斯範數取平方和的根,而核範數取樸素的和。這三者正是 Schatten 無窮、2、1 範數——把同一個 lp 思想用在奇異值向量上。

它的主角戲份是充當秩的凸替代。直接最小化秩是組合性的、NP 困難的;秩計的是有多少個奇異值非零,這是個不連續、非凸的東西。核範數是逼近秩的最緊凸函數(它在譜範數單位球上的凸包絡),正如 l1 範數是統計向量中非零元素個數的凸替代。

這正是矩陣補全的動力。給定一個大部分元素缺失的矩陣(想想一張你要填補的評分表),你尋找既匹配已觀測元素、又具有最小核範數的矩陣。由於最小化核範數會推向低秩,你便恢復出一個有結構的低秩補全——而且了不起的是,在溫和條件下你能精確恢復真實矩陣。這正是 Netflix 式推薦突破背後的引擎。

實用上的吸引力在於:核範數最小化是一個凸優化問題,因而有可由可靠求解器達到的全局最優,不像無從下手的直接秩最小化。你以精確性上的小小代價,換來可解性上的巨大收益。

||A||_* = sum_i sigma_i (vs ||A||_2 = max sigma_i, ||A||_F = sqrt(sum sigma_i^2))

核、譜、弗羅貝尼烏斯:奇異值的和、最大值、平方和之根。

同名兩面:對對稱半正定矩陣,核範數等於跡(特徵值之和),所以它也叫跡範數——但對一般矩陣,它是奇異值之和,而非跡。

又稱
trace normSchatten 1-norm||A||_*