内积带回几何
复向量空间 H 上的内积是一个映射 ⟨·,·⟩，它对第一变元线性、共轭对称（⟨y, x⟩ 等于 ⟨x, y⟩ 的共轭），且正定（x ≠ 0 时 ⟨x, x⟩ > 0）。它诱导范数 ||x|| = sqrt(⟨x, x⟩)。希尔伯特空间就是在此范数下完备的内积空间——一个范数恰好来自内积的巴拿赫空间。这额外的结构是一切：它给我们带来正交性。
Cauchy–Schwarz: |⟨x, y⟩| ≤ ||x|| ||y||.
Proof (real case; assume y ≠ 0). For every real t,
0 ≤ ||x - t y||^2 = ⟨x - t y, x - t y⟩
= ||x||^2 - 2 t ⟨x, y⟩ + t^2 ||y||^2.
This quadratic in t is ≥ 0 for all t, so it has at most one
real root; its discriminant is ≤ 0:
(2 ⟨x, y⟩)^2 - 4 ||y||^2 ||x||^2 ≤ 0
⇒ ⟨x, y⟩^2 ≤ ||x||^2 ||y||^2
⇒ |⟨x, y⟩| ≤ ||x|| ||y||. ∎
Consequence — the triangle inequality for ||·||:
||x + y||^2 = ||x||^2 + 2⟨x, y⟩ + ||y||^2
≤ ||x||^2 + 2||x|| ||y|| + ||y||^2
= (||x|| + ||y||)^2.
So ||x + y|| ≤ ||x|| + ||y||: the inner product really does
give a norm.标准正交基与投影
两向量正交当 ⟨x, y⟩ = 0；此时勾股定理成立：||x + y||^2 = ||x||^2 + ||y||^2。族 (e_n) 称为标准正交基，若 m ≠ n 时 ⟨e_m, e_n⟩ = 0、||e_n|| = 1，且 e_n 张成一个稠密子空间。对这样的基，每个 x 都有傅里叶展开 x = sum_n ⟨x, e_n⟩ e_n，系数满足贝塞尔不等式 sum |⟨x, e_n⟩|^2 ≤ ||x||^2，而当基完备时这成为等式——帕塞瓦尔恒等式。
几何核心是投影定理：若 M 是希尔伯特空间 H 的闭子空间，则每个 x 唯一地分解为 x = p + q，其中 p 在 M 中、q 在正交补 M⊥ 中。向量 p 是 M 中离 x 最近的唯一点，其特征是 x − p 与整个 M 正交。这正是最小二乘逼近成立的抽象缘由。
Best-approximation characterization of the projection.
Let M be a subspace, p ∈ M. Claim:
||x - p|| ≤ ||x - m|| for all m ∈ M
⇔ ⟨x - p, m⟩ = 0 for all m ∈ M.
(⇐) Suppose x - p ⊥ M. For any m ∈ M, p - m ∈ M, so
||x - m||^2 = ||(x - p) + (p - m)||^2
= ||x - p||^2 + ||p - m||^2 (Pythagoras)
≥ ||x - p||^2.
So p minimizes the distance. Equality forces p = m, giving
uniqueness.
(⇒) Suppose p minimizes. Fix m ∈ M, real t, write
g(t) = ||x - p - t m||^2
= ||x - p||^2 - 2 t ⟨x - p, m⟩ + t^2 ||m||^2.
g has its minimum at t = 0, so g'(0) = -2⟨x - p, m⟩ = 0,
i.e. ⟨x - p, m⟩ = 0. (Repeat with i·m for the complex case.) ∎