人類的新AI模型運行像人類這樣的計算機，包括錯誤

您是否曾夢想過一個能像人類一樣與電腦無縫互動的AI？現在，這個夢想已成為現實，這要歸功於Anthropic的最新創新。週二，他們推出了新一代Claude AI模型，名為Claude 3.5 Sonnet，它能以驚人的精細度操作電腦。目前處於beta模式，開發者可通過API進行實驗。

Anthropic自豪地將Claude 3.5 Sonnet標榜為「首個公開beta版提供電腦使用的邊疆AI模型」。這意味著開發者可編程讓它在電腦上執行多種任務，如查看螢幕、移動游標、點擊按鈕，甚至在虛擬鍵盤上輸入。目標是？模仿我們每天與電腦的互動方式。

雖然這個新AI仍處於實驗階段，但並非沒有問題。它有時可能有些笨拙且易出錯。但這正是Anthropic推出beta版的原因——收集開發者的寶貴反饋，隨時間完善模型。

為什麼我們應該關心AI使用電腦？

Anthropic給出了明確答案：「現代工作的絕大部分通過電腦完成。」通過讓AI以人類的方式與軟體互動，它們開啟了當前AI助手無法處理的大量新應用。

開發者和用戶如何受益？

Anthropic並非為每個任務創建特定工具，而是教導Claude通用的電腦技能。這讓AI能使用為人類設計的各種標準軟體程式。開發者可利用這一能力自動化重複任務、構建和測試軟體，甚至進行研究。

多家公司已開始利用Claude 3.5 Sonnet的電腦技能，包括Asana、Canva、Cognition、DoorDash、Replit和The Browser Company。例如，Replit正使用這些能力增強其Replit Agent產品。

他們如何訓練Claude使用電腦？

據Anthropic表示，訓練Claude操作電腦涉及大量試錯。這個過程需要AI理解並解釋電腦螢幕的圖像，然後根據看到的內容決定採取哪些行動。Claude 3.5 Sonnet通過分析螢幕截圖、計算像素以精確移動游標並發出滑鼠指令來實現這一點。

Claude的表現如何？

在OSWorld基準測試中，評估AI模型使用電腦的能力，Claude 3.5 Sonnet獲得14.9%的分數。雖然這遠低於人類70%-75%的表現，但幾乎是同類別中次佳AI模型7.7%的兩倍。

儘管有這些令人振奮的結果，Claude的電腦使用仍處於初級階段。它尚無法執行更複雜的任務，如拖動視窗或放大螢幕。此外，由於依賴螢幕截圖，它可能會錯過某些動作和通知。

Anthropic保持樂觀，聲明：「我們預期電腦使用將迅速改進，變得更快、更可靠且對用戶想完成的任務更有用。」他們還強調，隨著技術進步，它將對軟體開發經驗較少的人更易用，同時保持嚴格的安全措施。

Claude 3.5 Sonnet現已對所有人開放。開發者可通過Anthropic API、Amazon Bedrock和Google Cloud的Vertex AI開始構建應用程式，體驗電腦使用beta版。