多智能體強化學習

湧現溝通(emergent communication)

給一隊智能體一條彼此傳訊號的通道,加上一個若能協調就更好解的任務,卻完全不告訴它們訊號該代表什麼意思。值得注意的是,僅僅被訓練去最大化共享獎勵的智能體,往往會自行發明一套能用的密碼——一組它們逐漸有默契認定代表「往左」「這裡危險」「球在我這」的訊息。這種沒有人設計、卻自發出現的協定,就是湧現溝通。

機制上,智能體送出的訊息只是另一個動作,它收到的訊息只是它觀測的另一部分。學習必須同時解決兩個耦合的問題:說話者得產生帶有有用資訊的訊號,聽話者得學會據此行動——而少了任一方,另一方都沒有用,於是這套協定必須從雜訊中自我啟動。當溝通通道是連續的,梯度可以端到端地流過它;當它是離散的,就會用 Gumbel-softmax 或把訊息當成動作這類技巧。

湧現溝通同時被當作工具來研究——讓合作智能體的協調超越固定佈線所能允許的範圍——也被當作一扇窗,去窺看語言如何可能在合作壓力下生成。誠實的提醒很重:湧現的密碼往往脆弱、依賴於確切的訓練夥伴、且非人類可解讀,而要讓任何非平凡的協定湧現出來,本身就可能很難搞。它至今仍是活躍的研究前沿,而非一個已解決的工程工具。

又称
learning to communicate