人類的新AI模型運行像人類這樣的計算機，包括錯誤

您是否曾經夢想過像人類一樣可以與計算機無縫互動的AI？好吧，由於Anthropic的最新創新，這個夢想現在是現實。週二，他們推出了新一代的Claude AI模型，名為Claude 3.5十四行詩，該模型可以用令人驚訝的技巧操作計算機。目前處於Beta模式，此AI可供開發人員通過API進行實驗。

人類自豪地將Claude 3.5十四行詩標記為“首個在公共Beta中提供計算機使用的邊境AI模型”。這意味著開發人員可以對IT進行編程以在計算機上執行各種任務，例如查看屏幕，操縱光標，單擊按鈕，甚至在虛擬鍵盤上鍵入。目標？複製我們每天與計算機互動的方式。

現在，儘管這個新的AI仍處於實驗階段，但並非沒有打ic。有時可能會有些笨拙，並且容易出錯。但這就是為什麼Anthropic將其發佈在Beta中的原因，可以從開發人員那裡收集寶貴的反饋並隨著時間的推移來完善模型。

我們為什麼要使用計算機關心AI？

人類對這個問題有明確的答案：“大量現代作品通過計算機發生。”通過使AIS與人類相同的方式與軟件進行交互，它們可以解鎖當前AI助手無法處理的大量新應用程序。

開發人員和用戶如何受益？

人類不是為每個任務創建特定的工具，而是教授Claude一般計算機技能。這使AI可以利用為人類設計的廣泛的標準軟件程序。開發人員可以利用這種能力來自動化重複任務，構建和測試軟件，甚至進行研究。

幾家公司已經利用Claude 3.5十四行詩的計算機技能，包括Asana，Canva，Cognition，Doordash，Replit和The Browser Company。例如，REPLIT正在使用這些功能來增強其Replit Agent產品。

他們如何訓練克勞德使用計算機？

據人道，培訓克勞德（Claude）導航計算機涉及大量反複試驗。該過程要求AI理解和解釋計算機屏幕的圖像，然後根據所看到的決定採取哪些操作。 Claude 3.5十四行詩通過分析屏幕截圖，計算像素來精確移動光標並發出鼠標命令來實現這一目標。

克勞德的表現如何？

在評估AI模型使用計算機能力的OSWORLD基準測試測試中，Claude 3.5 SONNET的得分為14.9％。雖然這顯著低於70％-75％的人類水平的表現，但幾乎是同一類別中下一個最佳AI模型得分的7.7％的兩倍。

儘管這些有希望的結果，克勞德的計算機使用仍處於起步階段。它還不能執行更複雜的任務，例如將Windows拖動或放大到屏幕中。此外，由於它依賴於屏幕截圖，因此可能會錯過某些動作和通知。

擬人化仍然樂觀，說：“我們希望計算機使用將迅速改善，以變得更快，更可靠，並且對用戶想要完成的任務更有用。”他們還強調，隨著技術的發展，具有較少軟件開發經驗的人將變得更加易於使用，同時保持嚴格的安全措施。

Claude 3.5十四行詩現在可以訪問每個人。開發人員可以在人類API，Amazon Bedrock和Google Cloud的Vertex AI上使用計算機使用Beta來構建應用程序。