東西向流量(east-west traffic)
想像你在白板上畫一張網路圖,把外面的世界(使用者、網際網路)放在最上方,伺服器則一排排堆在下面。在伺服器與外界之間上下往來的流量是南北向(north-south)——它進出這棟建築。橫著走、伺服器對伺服器、從不離開建築的流量則是東西向(east-west)。這些名字純粹來自圖通常怎麼畫,跟羅盤方位無關。
東西向流量是同一資料中心內機器之間的通訊:應用伺服器對資料庫說話、網路層把一個請求分散給數十個微服務、儲存節點彼此複製資料、或數千顆 GPU 在訓練模型時互相交換梯度。在現代雲端資料中心裡,這種內部交談遠遠蓋過進出使用者的南北向流量——東西向常佔了所有搬移位元組的絕大多數。邊緣使用者的一次點擊,就可能引發一連串內部請求,在許多機架之間來回彈跳,最後才回傳一個答案。
為什麼重要:光是這個事實,就重塑了資料中心網路的建造方式。如果大部分流量是南北向,你只要在最上方的閘道接上粗管子就好。但因為大部分流量是東西向、而且可能在任意一對伺服器之間流動,網路就需要高的對分頻寬(bisection bandwidth)——大致是說,即使你把資料中心剖成兩半、一側每台伺服器都跟另一側的伺服器說話,仍能快速搬移資料的能力。正是這個需求,讓營運者放棄了舊的頭重腳輕三層式設計,改採能在任意兩台伺服器之間提供眾多等價路徑的胖樹與葉脊結構。
訓練一個大型語言模型會產生龐大的東西向流量:每一步,數千顆 GPU 都必須彼此交換各自算出的梯度。這幾乎全都不會離開建築——但它對內部結構造成的飽和,可能遠比使用者流量嚴重得多。
GPU 對 GPU 的梯度交換,是純粹的東西向流量。
東西向相對於南北向,只是對圖上方向的描述,不是某種協定或某一層。重點是:如今東西向佔了主導地位,這也是為什麼資料中心設計者要優化的指標是對分頻寬,而不只是閘道容量。