高頻寬記憶體（HBM）
先想像一下 HBM 當初要解決的問題。你的邏輯晶片——一顆 GPU 或 AI 加速器——處理資料的速度遠遠快過它取來資料的速度。這個落差就是記憶體牆：晶片之所以「挨餓」，不是因為算力不夠，而是因為餵資料給它的那根管子太細了。普通 DRAM 待在電路板的另一頭，只能透過寥寥幾根細線去搆它；想靠多加接腳來把管子拓寬，很快就沒地方放了。HBM 只回答一個問題——怎樣在不把線拉長的前提下，把資料管子做得極寬？——它的答案是：往上疊、往近搬。
一座 HBM 堆疊由好幾顆 DRAM 裸晶（常見為 8、12 或 16 層高）一片片疊起來，再用穿透矽通孔在垂直方向把它們連通；這些通孔就是直直地穿透矽、再灌滿銅的小孔。這座高高的堆疊隨後被放到邏輯晶片旁邊，落在一塊矽中介層上——它是一塊用矽做成的微型電路板，能讓你在兩者之間蝕刻出成千上萬根極細的線。HBM 不再走只有幾根線寬的窄匯流排，而是透過一條大約一千位元寬的匯流排對話，因為資料只需在中介層上走幾毫米，而不必橫跨整塊板子。又寬又短勝過又快又遠：單看每一根線，速度都相當從容，但上千根並排齊發，合起來的總頻寬就大得驚人。
這筆交易是用占地與成本換頻寬。堆疊與 TSV 的製造成本高昂，矽中介層又額外增加了成本與封裝複雜度，所以 HBM 只待在那些「頻寬幾乎不計代價也要」的地方：AI 訓練與推論、GPU 以及高效能運算——在這些場景裡，模型權重與激活值必須源源不斷地流進來。這其實就是支撐小晶片的那套封裝思路——把已知良品的裸晶緊挨著放到中介層上——只不過專門用在了記憶體上，把記憶體牆從一堵磚牆變成了一道寬得多的門。
Ordinary DRAM (narrow + far) HBM (wide + near) +--------+ few, long wires +-------+ +--------+ | Logic |======================>| DRAM | | Logic | +--------+ (off-board bus) | DRAM | | | | DRAM | <- 8..16 dies | ~1000 fine wires +-------+ <-+ +--------+ | TSVs | (vertical wiring) | silicon interposer | +------+ +--------------------+
左：標準 DRAM 要透過幾根又長又在板外的線才能搆到。右：一疊 DRAM 裸晶由 TSV 在垂直方向連成 HBM 堆疊，緊挨著邏輯晶片落在矽中介層上，於是一條約一千位元寬的匯流排只需跨越幾毫米。
HBM 把資料管子拓寬了，卻沒能抹掉記憶體牆——容量與頻寬依舊框住了最大的那些模型，這正是每一代（HBM2E、HBM3、HBM3E、HBM4）都不斷把堆疊疊得更高、把匯流排推得更快的原因。