高頻寬記憶體（HBM）
/ aitch-bee-em /
想像兩種餵爐子的差別：透過一條窄滑槽餵，跟把整面牆敲掉、一次從一百個開口鏟進去。普通的 DIMM 透過主機板上一條相對狹窄的路徑餵處理器；HBM 則是靠把記憶體晶片堆疊起來、並放在處理器正旁邊，建出一條極寬的路徑。它把又長又窄的路換成又短又非常寬的路——完全為了輸送頻寬而設計。
具體來說，HBM 是把多個 DRAM 晶粒垂直堆疊（好幾層，用矽穿孔 TSV 連接），裝在跟處理器同一個封裝上、透過矽中介層放在它旁邊。它不是一個 64 位元通道，而是一個 HBM 堆疊就暴露出一個非常寬的介面——每堆約 1024 位元——跑在中等的時脈速度。結果是每堆有巨大的頻寬（每堆數百 GB/s，幾堆加起來可達每秒數 TB），而且走在非常短的線路上，這也省下每搬一位元的能量。取捨是：HBM 較貴、較難製造、通常是焊死的（使用者無法升級），且總容量比起一排排便宜的 DIMM 有限。
為何重要：HBM 之所以存在，是因為記憶體牆對於渴求頻寬的加速器特別殘酷。GPU 與 AI／深度學習晶片是吞吐量機器，沒有龐大的資料餵料就會挨餓，所以它們搭配 HBM 來讓自己上千個算術單元保持忙碌。誠實的定位：HBM 攻擊的是頻寬、不是延遲——單一隨機存取並不比 DDR 快多少。當你的瓶頸是每秒位元組數時（訓練神經網路、大型模擬），它是對的工具；當容量與價格比原始串流吞吐量更重要時，它就是殺雞用牛刀、或單純太貴。
一顆高階 AI 加速器可能讓它的計算晶粒搭配好幾堆 HBM，總共輸送每秒數 TB——這是主機板上區區幾條 DDR5 DIMM（每條數十 GB/s）永遠達不到的頻寬。
處理器旁的 HBM 堆疊，用容量與成本換取極端的頻寬。
HBM 關乎頻寬、不是延遲，也不是「你能加裝的更多 RAM」——它焊死在封裝上、容量有限。它在受吞吐量限制的加速器上發光，用在受延遲限制、渴求容量的一般工作負載上則是浪費。