電腦操作（computer use）

大多數工具給代理的是一個乾淨的程式介面。電腦操作（computer use）走相反的路：不給 API，而是給代理一個螢幕、一個滑鼠和一個鍵盤，讓它像人一樣操作一般的軟體——看著畫素、移動游標、點按鈕、在欄位裡打字。這讓代理能驅動那些從來不是為自動化而設計的應用程式，因為幾乎所有東西都有畫面，即使它沒有 API。

迴圈是在圖形介面上「先感知、再行動」：模型收到一張螢幕截圖，決定一個低階動作，像是「點這個座標」或「輸入這段文字」，動作被執行，一張新的截圖再回來，讓它看到改變了什麼。要做得好，需要讀懂雜亂的介面、定位到正確的元件，並串起許多微小的步驟而不忘記目標。

它很強大，但目前又慢又脆——一個移動過的按鈕、一個彈出視窗，或一個載入很慢的頁面，都可能讓整段執行脫軌，而一次錯誤的點擊可能造成真實的損害。因為它直接作用在一台運作中的機器上，電腦操作正是最需要人類監督與嚴格限制的場合之一。