脈絡混合（context mixing）

脈絡混合是給注意力真正做到的事取的名字：它是不同位置上所持有的資訊被混合在一起的那一步。進入注意力層時，每個詞元大多只認識自己；出來時，每個詞元已折入它認為相關的其他每個詞元的片段。代名詞吸收一點它的先行詞；動詞吸收它的主詞；意義含糊的詞，吸收那些能消除歧義的線索。

這個混合，精確來說就是值向量的加權和，而注意力權重決定了配方。這乾淨地切分了一個區塊內部的分工：注意力跨位置搬動並結合資訊，也就是混合；而前饋網路則孤立地轉換每個位置，不做混合。把區塊疊起來，能讓資訊跳得愈來愈遠——相隔兩個詞元的一項事實，可以透過中間位置接力，傳到許多層之後的某個詞元。

用這種方式來框架模型——跨詞元混合，再逐詞元處理，如此重複——既是有用的心智模型，也是研究工具。衡量每個輸入詞元對較後表示貢獻了多少，是把模型輸出歸因到其輸入的一種方法，不過這類歸因是近似的，應當謹慎解讀。