奇异值分解
由奇异值得到弗罗贝尼乌斯范数
弗罗贝尼乌斯范数是度量矩阵最接地气的方式:把它的元素当成一根长向量,取普通的欧几里得长度。||A||_F = sqrt(所有 a_ij^2 之和)。它是矩阵的总能量,对每个元素一视同仁——用一个数说明整个阵列有多大。
经由 SVD 它有了更干净的面貌:||A||_F = sqrt(sigma_1^2 + sigma_2^2 + ... + sigma_r^2)。元素平方和等于奇异值平方和。这是 Schatten 2 范数,是谱范数(Schatten 无穷)与核范数(Schatten 1)的搭档——同样的平方和之根,只是用在奇异值而非原始元素上。
它之所以成立的深层原因是旋转不变性。对任意正交 U 与 V,||U A V^T||_F = ||A||_F——乘以正交矩阵不改变弗罗贝尼乌斯范数,因为正交映射保持长度。由于 A = U Sigma V^T,A 的范数等于 Sigma 的范数,而 Sigma 唯一的非零元素就是对角线上的奇异值。于是得到奇异值平方和的公式。
等价地,||A||_F^2 = trace(A^T A) = A^T A 特征值之和 = sigma_i^2 之和——同一份能量的三种说法。这正是埃卡特-杨弗罗贝尼乌斯情形所最小化的范数,也是当你在意整体拟合而非最坏情形拉伸时,逼近误差的自然度量。
||A||_F = sqrt(sum_{i,j} a_ij^2) = sqrt(sum_i sigma_i^2) = sqrt(trace(A^T A))
三种相等形式:逐元素能量、奇异值能量,以及 A^T A 的迹。
旋转不变性是亮点:||A||_F 只依赖于奇异值,与 A 的行或列的朝向无关。因此它对输入或输出基的任何正交变更视而不见。
又称
另见