電腦操作代理（computer use）

電腦操作代理像人一樣操作軟體：看著螢幕、決定要點哪裡、要打什麼，然後發出滑鼠與鍵盤動作。它不必倚賴每個應用程式都提供乾淨的 API，而是直接驅動圖形介面，因此原則上能使用任何人類能用的程式。可以想成一位助理：給定一個目標，它接管游標、替你操作應用程式。

其控制迴圈是先感知、後行動：代理收到一張螢幕截圖（有時再加上無障礙樹，或為可點擊元素加標籤的 set-of-marks），由多模態模型把目標錨定到特定 UI 元素並預測一個動作——在這個座標點擊、輸入這段文字、捲動、按某個鍵——環境接著繪製下一個畫面，再餵入後續步驟。這是在數位世界中的具身互動，需要視覺錨定、空間推理，以及從非預期對話框或版面變動中復原的能力。

像素層級的 GUI 控制很通用，卻脆弱又緩慢：座標會點偏、頁面會位移、延遲在多步驟間累積，基準測試也顯示在長流程上的成功率仍遠低於人類的可靠度。它也使風險集中——一個握有螢幕與鍵盤控制權的代理，可能做出影響重大且難以復原的動作——因此確認步驟、受限環境與人為監督仍不可或缺。