硬體加速器

通用型 CPU 一次做少數幾件事，但非常靈活。視覺模型則是把同一個簡單運算——乘加——平行地做上數十億次。硬體加速器就是專為這種工作負載特化的晶片：GPU、TPU 與 NPU 裝載數千個算術單元，因此能比 CPU 更快、且每次運算更省能地計算矩陣乘法與卷積。

機制上，主力是對矩陣乘法的大規模平行化。GPU 使用數千個核心，再加上張量核心——這是小型矩陣乘法單元，例如每個週期做一次 4×4 的 FP16 或 int8 乘加。TPU 與許多 NPU 使用脈動陣列（systolic array），一個由乘加單元構成的網格，資料在其中串流，使每個數值在離開晶片前被多次重用。關鍵在於，效能受限於運算（峰值 TOPS／FLOPS）或記憶體頻寬（你能多快餵資料給單元）二者之一——即 roofline 模型——所以片上 SRAM、HBM 頻寬與資料重用，與原始的乘加數量同等重要。

這個版圖五花八門：NVIDIA 的資料中心 GPU（H100／H200）與邊緣 GPU（Jetson）、Google TPU、行動 NPU（Apple Neural Engine、Qualcomm Hexagon、Google Tensor、Coral Edge TPU），以及 FPGA 與客製 ASIC。它們強烈偏好低精度（FP16、BF16、FP8、int8）與大型、規則、成批的工作負載。這形塑了你設計模型的方式——偏好密集規則的卷積與矩陣乘法而非零散稀疏，選擇能乾淨鋪排（tile）到陣列上的尺寸——也正是硬體感知的神經架構搜尋與軟硬體共同設計如此重要的原因。