微軟 Webwright 將 Web Agent 開源,從「點擊」轉向「編碼」
微軟研究院(Microsoft Research)最近將其全新的網頁代理框架Webwright 開源。該框架不再依賴主流的「螢幕截圖/DOM 點擊」預測模型,而是讓 AI 模型能直接編寫Playwright程式碼,並在終端機中執行 Bash 指令,從而更有效率且更合乎邏輯地完成複雜的網頁任務。

I. 核心架構:極簡主義的「終端機優先」方法
Webwright 的設計哲學十分簡明:「一個終端機勝過數千層抽象。」該框架由約1,000 行程式碼組成,分為三個核心模組,且不涉及複雜的多代理協調機制:
Runner(約 150 行):管理代理迴圈的核心邏輯,負責處理上下文與執行。
Model Endpoint(約 550 行):用於與模型互動的統一介面,支援 OpenAI、Anthropic 和 OpenRouter 等後端服務。
終端環境(約 300 行):提供一個隔離的終端執行環境,模型可在其中執行 Playwright 腳本、檢視日誌、分析螢幕截圖並進行除錯。
工作流程:Runner 將當前任務上下文傳送至模型 → 模型生成「思考過程」與「Shell 指令」 → 執行環境執行並回傳結果(輸出、螢幕截圖、錯誤堆疊) → 循環持續進行直至任務完成。

II. 為何要從「點擊」轉向「編寫程式碼」?
當前主流的代理程式透過不斷預測「點擊、捲動、輸入」來操作瀏覽器,這會導致效率問題及狀態管理上的挑戰。Webwright 的程式碼驅動方法具備明顯優勢:
邏輯重複利用:每項操作都會產生可重複使用的 RPA(機器人流程自動化)腳本,而非一次性點擊記錄。這些腳本可在 Claude Code 或 Codex 等其他工具中重複使用。
複雜邏輯處理:程式碼天生支援迴圈、函式與分支。對於表單填寫、跨頁面操作及條件跳轉等長鏈任務,程式碼的表現遠勝於單純堆疊動作。
工程化錯誤修正:透過分析執行錯誤後的堆疊追蹤,模型能自主進入「編寫程式碼-執行-出錯-修正」的迭代循環,顯著提升任務成功率。
III. 工程突破:解決「假成功」與「上下文膨脹」
Webwright 針對代理程式常見的兩大痛點提出針對性解決方案:
閘門自我檢查機制:防止模型錯誤地宣稱任務已完成。模型必須先生成「自我檢查配置」,並在乾淨的環境中執行最終腳本。只有在自我反思確認任務確實達成後,才能輸出完成標記。
歷史記錄壓縮:為處理長軌跡造成的上下文過載,系統每 20 步將歷史記錄壓縮為摘要,確保上下文視窗始終聚焦於關鍵進展。
IV. 測試表現:超越基準測試
在 2026 年 5 月的基準測試中,Webwright 表現極為出色:
Online-Mind2Web:基於 GPT-5.4 的 Webwright 在 100 步預算內達到86.67%的準確度,名列頂尖開源解決方案之列。
Odysseys(長鏈任務):面對平均長達 272 字的複雜指令, Webwright 搭配 GPT-5.4 取得60.1% 的準確率,相較於基礎版 GPT-5.4(33.5%)提升約81.5%,並超越 4 月份排行榜冠軍 Opus4.6(44.5%)。
業界反饋
Webwright 的問世凸顯了一項重要趨勢:隨著模型的程式設計能力提升,代理程式正朝著「開發者範式」轉變。透過將瀏覽器視為可程式化的終端點,而非僅僅是互動介面,Webwright 成功將 AI 網頁任務執行的效率與穩健性提升至全新層次。
對開發者而言,Webwright 不僅是一個代理程式框架——它更是一位能夠自動編寫、維護及打包自動化腳本的「超級員工」。該專案現已於 GitHub 上開源。
相關文章
Google 將 NotebookLM 更名為 Gemini,併為其配備能夠編寫和執行程式碼的雲端計算機
長期使用者應做好準備,迎接一個擁有新身份的熟悉面孔。16日,谷歌宣佈其AI筆記助手NotebookLM已正式更名為Gemini Notebook,標誌著它已完全融入谷歌的統一AI生態系統。儘管名稱有所改變,但該產品的核心身份保持不變。谷歌確認,它將繼續作為獨立工具執行,但如今將在更廣泛的谷歌平臺中發揮關鍵作用,包括與Gemini應用和谷歌搜尋的整合。此次品牌重塑的真正價值在於底層能力的升級。Gemini Notebook使用者將逐步獲得一項關鍵功能:安全雲端計算整合。這一增強功能實際上為筆記本配備了強
Claude 撰寫了 Anthropic 80% 的程式碼,隨著 CI 任務激增 25 倍
Anthropic 的內部指標揭示了一個驚人的現實:Claude 現在生成了該公司 80% 的程式碼,工程師每季度交付的程式碼量是 2021 年至 2025 年間的八倍。甚至連程式碼審查和合並審批等關鍵工作流程也正日益由人工智慧自動化。然而,人工智慧的編碼行為與人類模式截然不同。它傾向於以極細粒度提交拉取請求,全天持續提交程式碼,並觸發測試用例數量激增十倍。這種毫不間斷的節奏使持續整合(CI)系統不堪重負,導致任務量在六個月內激增了 25 倍。儘管進行了三次系統修補嘗試——包括新增核心邏輯、分片處理以
微軟推出新風險投資專案,投資25億美元,部署6000名工程師,處於企業創新前沿
隨著人工智慧從“模型開發”轉向“業務落地”,微軟再次展示了其強大的資源整合能力。近日,微軟宣佈成立名為“前沿公司”(Frontier Company)的新業務部門,預算高達25億美元,旨在透過更深入的工程協作,加速企業客戶的AI轉型。該舉措是行業內規模最大的。微軟計劃直接向客戶現場部署6000名行業專家和技術工程師。與傳統諮詢模式中專案交付即告結束不同,該部門的核心使命是“深度整合”:工程師將與客戶團隊並肩工作,共同設計系統架構、部署模型,並針對特定業務場景持續最佳化。透過這種以結果為導向的協作
相關專題推薦
評論 (2)
0/500
Finally, an agent that doesn't just guess where to click! 🎯 Webwright writing actual Playwright code feels like a massive leap from the old screenshot methods. Less flakiness, more precision. Can't wait to see how this handles dynamic SPAs without breaking every time the DOM shifts slightly. Microsoft is really pushing the 'code-first' narrative here. 🚀
微軟研究院(Microsoft Research)最近將其全新的網頁代理框架Webwright 開源。該框架不再依賴主流的「螢幕截圖/DOM 點擊」預測模型,而是讓 AI 模型能直接編寫Playwright程式碼,並在終端機中執行 Bash 指令,從而更有效率且更合乎邏輯地完成複雜的網頁任務。

I. 核心架構:極簡主義的「終端機優先」方法
Webwright 的設計哲學十分簡明:「一個終端機勝過數千層抽象。」該框架由約1,000 行程式碼組成,分為三個核心模組,且不涉及複雜的多代理協調機制:
Runner(約 150 行):管理代理迴圈的核心邏輯,負責處理上下文與執行。
Model Endpoint(約 550 行):用於與模型互動的統一介面,支援 OpenAI、Anthropic 和 OpenRouter 等後端服務。
終端環境(約 300 行):提供一個隔離的終端執行環境,模型可在其中執行 Playwright 腳本、檢視日誌、分析螢幕截圖並進行除錯。
工作流程:Runner 將當前任務上下文傳送至模型 → 模型生成「思考過程」與「Shell 指令」 → 執行環境執行並回傳結果(輸出、螢幕截圖、錯誤堆疊) → 循環持續進行直至任務完成。

II. 為何要從「點擊」轉向「編寫程式碼」?
當前主流的代理程式透過不斷預測「點擊、捲動、輸入」來操作瀏覽器,這會導致效率問題及狀態管理上的挑戰。Webwright 的程式碼驅動方法具備明顯優勢:
邏輯重複利用:每項操作都會產生可重複使用的 RPA(機器人流程自動化)腳本,而非一次性點擊記錄。這些腳本可在 Claude Code 或 Codex 等其他工具中重複使用。
複雜邏輯處理:程式碼天生支援迴圈、函式與分支。對於表單填寫、跨頁面操作及條件跳轉等長鏈任務,程式碼的表現遠勝於單純堆疊動作。
工程化錯誤修正:透過分析執行錯誤後的堆疊追蹤,模型能自主進入「編寫程式碼-執行-出錯-修正」的迭代循環,顯著提升任務成功率。
III. 工程突破:解決「假成功」與「上下文膨脹」
Webwright 針對代理程式常見的兩大痛點提出針對性解決方案:
閘門自我檢查機制:防止模型錯誤地宣稱任務已完成。模型必須先生成「自我檢查配置」,並在乾淨的環境中執行最終腳本。只有在自我反思確認任務確實達成後,才能輸出完成標記。
歷史記錄壓縮:為處理長軌跡造成的上下文過載,系統每 20 步將歷史記錄壓縮為摘要,確保上下文視窗始終聚焦於關鍵進展。
IV. 測試表現:超越基準測試
在 2026 年 5 月的基準測試中,Webwright 表現極為出色:
Online-Mind2Web:基於 GPT-5.4 的 Webwright 在 100 步預算內達到86.67%的準確度,名列頂尖開源解決方案之列。
Odysseys(長鏈任務):面對平均長達 272 字的複雜指令, Webwright 搭配 GPT-5.4 取得60.1% 的準確率,相較於基礎版 GPT-5.4(33.5%)提升約81.5%,並超越 4 月份排行榜冠軍 Opus4.6(44.5%)。
業界反饋
Webwright 的問世凸顯了一項重要趨勢:隨著模型的程式設計能力提升,代理程式正朝著「開發者範式」轉變。透過將瀏覽器視為可程式化的終端點,而非僅僅是互動介面,Webwright 成功將 AI 網頁任務執行的效率與穩健性提升至全新層次。
對開發者而言,Webwright 不僅是一個代理程式框架——它更是一位能夠自動編寫、維護及打包自動化腳本的「超級員工」。該專案現已於 GitHub 上開源。
Google 將 NotebookLM 更名為 Gemini,併為其配備能夠編寫和執行程式碼的雲端計算機
長期使用者應做好準備,迎接一個擁有新身份的熟悉面孔。16日,谷歌宣佈其AI筆記助手NotebookLM已正式更名為Gemini Notebook,標誌著它已完全融入谷歌的統一AI生態系統。儘管名稱有所改變,但該產品的核心身份保持不變。谷歌確認,它將繼續作為獨立工具執行,但如今將在更廣泛的谷歌平臺中發揮關鍵作用,包括與Gemini應用和谷歌搜尋的整合。此次品牌重塑的真正價值在於底層能力的升級。Gemini Notebook使用者將逐步獲得一項關鍵功能:安全雲端計算整合。這一增強功能實際上為筆記本配備了強
Claude 撰寫了 Anthropic 80% 的程式碼,隨著 CI 任務激增 25 倍
Anthropic 的內部指標揭示了一個驚人的現實:Claude 現在生成了該公司 80% 的程式碼,工程師每季度交付的程式碼量是 2021 年至 2025 年間的八倍。甚至連程式碼審查和合並審批等關鍵工作流程也正日益由人工智慧自動化。然而,人工智慧的編碼行為與人類模式截然不同。它傾向於以極細粒度提交拉取請求,全天持續提交程式碼,並觸發測試用例數量激增十倍。這種毫不間斷的節奏使持續整合(CI)系統不堪重負,導致任務量在六個月內激增了 25 倍。儘管進行了三次系統修補嘗試——包括新增核心邏輯、分片處理以
微軟推出新風險投資專案,投資25億美元,部署6000名工程師,處於企業創新前沿
隨著人工智慧從“模型開發”轉向“業務落地”,微軟再次展示了其強大的資源整合能力。近日,微軟宣佈成立名為“前沿公司”(Frontier Company)的新業務部門,預算高達25億美元,旨在透過更深入的工程協作,加速企業客戶的AI轉型。該舉措是行業內規模最大的。微軟計劃直接向客戶現場部署6000名行業專家和技術工程師。與傳統諮詢模式中專案交付即告結束不同,該部門的核心使命是“深度整合”:工程師將與客戶團隊並肩工作,共同設計系統架構、部署模型,並針對特定業務場景持續最佳化。透過這種以結果為導向的協作
Finally, an agent that doesn't just guess where to click! 🎯 Webwright writing actual Playwright code feels like a massive leap from the old screenshot methods. Less flakiness, more precision. Can't wait to see how this handles dynamic SPAs without breaking every time the DOM shifts slightly. Microsoft is really pushing the 'code-first' narrative here. 🚀





首頁






