內積帶回幾何
複向量空間 H 上的內積是一個映射 ⟨·,·⟩，它對第一變元線性、共軛對稱（⟨y, x⟩ 等於 ⟨x, y⟩ 的共軛），且正定（x ≠ 0 時 ⟨x, x⟩ > 0）。它誘導範數 ||x|| = sqrt(⟨x, x⟩)。希爾伯特空間就是在此範數下完備的內積空間——一個範數恰好來自內積的巴拿赫空間。這額外的結構是一切：它給我們帶來正交性。
Cauchy–Schwarz: |⟨x, y⟩| ≤ ||x|| ||y||.
Proof (real case; assume y ≠ 0). For every real t,
0 ≤ ||x - t y||^2 = ⟨x - t y, x - t y⟩
= ||x||^2 - 2 t ⟨x, y⟩ + t^2 ||y||^2.
This quadratic in t is ≥ 0 for all t, so it has at most one
real root; its discriminant is ≤ 0:
(2 ⟨x, y⟩)^2 - 4 ||y||^2 ||x||^2 ≤ 0
⇒ ⟨x, y⟩^2 ≤ ||x||^2 ||y||^2
⇒ |⟨x, y⟩| ≤ ||x|| ||y||. ∎
Consequence — the triangle inequality for ||·||:
||x + y||^2 = ||x||^2 + 2⟨x, y⟩ + ||y||^2
≤ ||x||^2 + 2||x|| ||y|| + ||y||^2
= (||x|| + ||y||)^2.
So ||x + y|| ≤ ||x|| + ||y||: the inner product really does
give a norm.標準正交基與投影
兩向量正交當 ⟨x, y⟩ = 0；此時勾股定理成立：||x + y||^2 = ||x||^2 + ||y||^2。族 (e_n) 稱為標準正交基，若 m ≠ n 時 ⟨e_m, e_n⟩ = 0、||e_n|| = 1，且 e_n 張成一個稠密子空間。對這樣的基，每個 x 都有傅立葉展開 x = sum_n ⟨x, e_n⟩ e_n，係數滿足貝塞爾不等式 sum |⟨x, e_n⟩|^2 ≤ ||x||^2，而當基完備時這成為等式——帕塞瓦爾恆等式。
幾何核心是投影定理：若 M 是希爾伯特空間 H 的閉子空間，則每個 x 唯一地分解為 x = p + q，其中 p 在 M 中、q 在正交補 M⊥ 中。向量 p 是 M 中離 x 最近的唯一點，其特徵是 x − p 與整個 M 正交。這正是最小二乘逼近成立的抽象緣由。
Best-approximation characterization of the projection.
Let M be a subspace, p ∈ M. Claim:
||x - p|| ≤ ||x - m|| for all m ∈ M
⇔ ⟨x - p, m⟩ = 0 for all m ∈ M.
(⇐) Suppose x - p ⊥ M. For any m ∈ M, p - m ∈ M, so
||x - m||^2 = ||(x - p) + (p - m)||^2
= ||x - p||^2 + ||p - m||^2 (Pythagoras)
≥ ||x - p||^2.
So p minimizes the distance. Equality forces p = m, giving
uniqueness.
(⇒) Suppose p minimizes. Fix m ∈ M, real t, write
g(t) = ||x - p - t m||^2
= ||x - p||^2 - 2 t ⟨x - p, m⟩ + t^2 ||m||^2.
g has its minimum at t = 0, so g'(0) = -2⟨x - p, m⟩ = 0,
i.e. ⟨x - p, m⟩ = 0. (Repeat with i·m for the complex case.) ∎