高頻寬記憶體（high-bandwidth memory，HBM）

加速器的運算單元若挨餓沒資料就毫無用處。高頻寬記憶體（HBM）就是緊貼著 GPU 晶粒、負責餵養這些單元的堆疊式 DRAM。它不是把幾顆記憶體晶片擺在遙遠的電路板上，而是把許多 DRAM 晶粒垂直堆疊，再透過矽中介層（interposer）以極寬的匯流排連接——把傳統記憶體那條又長又窄的路，換成一條又短又寬的路。

HBM 用矽穿孔（TSV）把 DRAM 晶粒疊起來，每個堆疊對外露出 1024 位元寬的介面，所以即使時脈不算高，也能交付每秒數兆位元組（TB/s）的頻寬；近期的 HBM3 與 HBM3e 每個堆疊就超過每秒一兆位元組，而一個加速器上有好幾個堆疊。代價是容量與價格：HBM 每 GB 的成本遠高於商用 GDDR 或 DDR，而堆疊也限制了總容量，這就是為何前沿加速器搭載的是數十 GB，而非數百 GB。

正因為太多機器學習核心——尤其是大型語言模型的解碼——受限於記憶體頻寬，決定其上限的是 HBM 頻寬而非裸 FLOPs。運算成長速度與記憶體成長速度之間越拉越大的差距，也就是所謂的「記憶體牆」，正是算術強度、融合與量化在現代系統工作中如此吃重的原因。