张量积
张量积 V (x) W 是为了打包“把 V 中的一个向量乘以 W 中的一个向量”这个想法而构造的新向量空间。它的基本砖块是记号 v (x) w,称为简单张量,而一般元素是这种记号的有限和。整个构造只为一个目的而存在:把同时对两个变量线性的映射,转化为对单一变量的普通线性映射。
其规则恰好是双线性所强制的那些。你可以把标量穿过 (x):(a*v) (x) w = a*(v (x) w) = v (x) (a*w)。你可以在任一槽位拆开求和:(v1 + v2) (x) w = v1 (x) w + v2 (x) w,右边也一样。除此之外不假设任何东西。若 V 维数为 m、基为 e_i,W 维数为 n、基为 f_j,则乘积 e_i (x) f_j 构成 V (x) W 的一组基,所以 dim(V (x) W) = m*n。
为何费这番功夫?双线性映射 B : V x W -> U 很别扭,因为它在乘积集合 V x W 上并不线性。张量积正是让 B 分解为单一线性映射 V (x) W -> U 的场所,该映射把 v (x) w 送到 B(v, w)。于是“对两个向量双线性”变成了“对一个张量线性”,线性代数的整套工具便可重新登场。
一个让初学者绊倒的提醒:v (x) w 并不能天真地等同于矩阵 v*w^T,而且 V (x) W 中的大多数元素都是无法写成单个 v (x) w 的求和。简单张量只是张成这个空间,并不能穷尽它。分辨“是单个乘积”与“是若干乘积之和”,正是张量秩这个真正困难问题的种子。
一个 2 维空间与一个 3 维空间的张量积是 6 维的,由六个基乘积张成。
维数是相乘而非相加:dim(V (x) W) = dim V * dim W,与直和形成鲜明对比——直和满足 dim(V (+) W) = dim V + dim W。这种乘性增长正是张量为何膨胀得如此之快、以及高阶张量为何昂贵的原因。