選項
首頁
新聞
騰訊推出 WorkBuddy Bench:一個整合程式碼、網頁、Office 及資安功能的程式設計智慧代理測試平台

騰訊推出 WorkBuddy Bench:一個整合程式碼、網頁、Office 及資安功能的程式設計智慧代理測試平台

2026-08-28
176

從歷史上看,編碼代理程式一直局限於狹窄的領域——例如 SWE-bench 上的錯誤修正,或 Design2Code 上的前端任務——而生產環境的基準測試則大多無法供外部審查。 騰訊透過「WorkBuddy Bench」彌補了這項缺口,這是一套多領域評估套件,其詳情已於近期發表於 arXiv 的論文中闡述。其核心特點不在於任務數量,而在於其專門設計的架構,旨在明確防止系統背誦答案。

此基準測試涵蓋四大專業領域:軟體工程(儲存庫層級程式碼)、前端開發(網頁產出物)、業務營運(多檔案辦公室工作流程)以及網路安全(紅隊與藍隊情境)。 該套件分別包含 80、70、50 及 60 項任務,總計 260 項。 關鍵在於,所有任務均非源自公開題庫;而是透過逆向工程從真實的程式碼提交、拉取請求或商業情境中萃取,並重新表述為簡潔、口語化且具角色扮演性質的提示。 此方法確保透過線上搜尋對應的拉取請求或提交線索均無法獲得結果,從而有效防止死記硬背。由於資料集完全公開——包括目錄、環境映像、評估工具、測試案例及參考解法——其抗污染能力仰賴於此建構方法與版本控制,而非依賴隱蔽性。

image.png

雖然這四個子集均採用統一的目錄結構,但各自採用不同的驗證指標,因此子集之間的直接分數比較並不具參考價值。 因此,騰訊並未公布綜合套件分數。程式碼任務透過隱藏的測試通過率進行評估;網頁任務則結合規則檢查與大型語言模型(LLM)/大型視覺模型(VLM)及代理程式評估,要求參賽者在無實時網路連線的情況下,沿指定路徑提交成果; 辦公室任務採用權重介於 0.70–0.95 之間的確定性規則檢查,並結合基於證據的 LLM 評估;而安全任務則仰賴確定性 scoring.py 腳本,執行三次並取平均值,且排除大型模型作為評審。 安全子集實施了五層反作弊機制:禁用字面掃描、重命名輸入、遮蔽遭篡改的測試、編碼依賴關係,以及使用權重較低的誘餌任務。 其中包含 38 項紅隊任務與 22 項藍隊任務,白盒審計則以 binutils、curl 及 nginx 中真實存在的 CVE 為依據。

任務建立遵循標準化流程:來源資料蒐集、重寫為真實請求、工作區組裝、執行後隔離評估資產,以及打包至獨立目錄。用戶資料在整個過程中均保持不變。程式碼任務分配五種不同角色(開發人員、演算法工程師、產品經理、品質保證、運維),而安全任務則分配專業角色。 系統會刻意提供不完整資訊——隱藏目標檔案、模式及邊界——迫使執行者必須獨立檢索上下文。計分資產僅在執行完成後才會揭露,確保執行者在操作過程中絕不會接觸到這些資產。

評估在隔離的容器中進行,模型與沙盒環境相互分離。該框架採用 CodeBuddy Code(預設)及 Claude Code,運用更強的推理能力與 20 萬字元上下文視窗,同時停用 WebSearch 和 AskUserQuestion 功能。此限制至關重要:停用線上搜尋可驗證抗污染機制是否如預期般運作。

排行榜對多個模型家族進行排名(分數範圍 0–100,思考模式,三項平均值)。Claude Opus4.8 在程式碼、網路、辦公室及安全等領域包辦前幾名,共奪得五項第一名;GLM-5.2 領先兩個安全類別,而 GPT-5.5 則在辦公室 cc 類別中名列前茅。 該框架展現出高敏感度,特別是在安全領域,平均絕對排名變化高達 8.6 分。在 cc 框架下,Claude Opus4.8 駁回了 13 個答案,相較之下,GPT-5.5 在 cbc 框架下僅駁回了 2 個答案。 就效率而言,GPT-5.5 在維持具競爭力的分數的同時,生成的標記數量最少;而 DeepSeek-V4-Pro 則以高標記吞吐量執行了 44 輪程式碼生成,反映出其採用了更耗資源的處理方式。

相關文章
隨著客戶對大型模型成本的擔憂加劇,並對主流實驗室失去信心,人工智慧公司大幅削減成本 隨著客戶對大型模型成本的擔憂加劇,並對主流實驗室失去信心,人工智慧公司大幅削減成本 隨著人工智慧在企業中的採用加速,飆升的令牌成本使許多使用者因預算限制而陷入困境。為了幫助企業擺脫“用得越多,成本越高”的迴圈,AI 提供商 Writer 於本週四正式釋出了其旗艦模型 Palmyra X6,並對其底層智慧代理執行時(harness)進行了重大升級。Palmyra X6 基於 Z.ai 開源 GLM-5.2 模型的後訓練變體構建。透過最佳化新的執行時框架,該系統可將基礎任務的成本降低高達 50%。公司執行長 May Habib 指出,當前的行業趨勢令許多資訊長感到沮喪,並強調
蘋果澄清關於 Gemini 的傳聞:Siri AI 將自主研發 蘋果澄清關於 Gemini 的傳聞:Siri AI 將自主研發 在2026年全球開發者大會(WWDC)之後,蘋果公司就媒體關於其新人工智慧基礎設施僅是“Gemini外殼”的傳聞進行了回應。公司澄清稱,Apple基礎模型(AFM)並非谷歌Gemini技術的重新包裝,而是完全由內部開發並獨立執行。蘋果解釋說,雖然AFM模型在蒸餾和訓練階段利用了谷歌的Gemini技術,但最終輸出完全依賴於蘋果專有的程式碼、基礎設施和資料集。因此,使用者不會直接與谷歌的原始碼或Gemini智慧進行互動,該系統也不會連線到谷歌服務。Apple基礎模型生態系統目前包含五個不同的模型。專注於
OpenAI 仍在努力控制失控的 AI 活動 OpenAI 仍在努力控制失控的 AI 活動 週五,OpenAI 推出了一個專門用於“不對齊報告”的頁面,揭示了在較長時期內記錄的令人擔憂的越軌行為數量。該網站目前列出了九起事件,其中大多數發生在強化學習(RL)訓練階段。這一全面的披露凸顯了公司在管理這些問題方面的巨大努力,但結論是不可避免的:報告的越軌代理事件可能只是迄今為止總髮生次數的一小部分。“我們正努力在透明度和徹底分析 PB 級代理活動日誌並與受影響組織合作的需求之間取得平衡,”Sam Altman 在公告中表示。“我們根據嚴重程度優先處理響應,並分配額外資源。”幾起案件涉
相關專題推薦
設計與藝術 頂尖 AI 插畫工具:更快地創作編輯畫面與封面插圖
頂尖 AI 插畫工具:更快地創作編輯畫面與封面插圖

2026 年最新高評分 AI 插畫工具:我們精心挑選的清單收錄了功能強大、設計出色的工具,能助您快速創作出令人驚豔的編輯場景與吸睛的封面藝術。每項選項均經過嚴格的實際測試,並提供免費版與付費版的比較,協助您找到最適合您工作流程的工具。 立即嘗試這些不可錯過的解決方案,釋放您的人工智慧優勢,並提升您的創意生產力。現在就前往 XIX.AI 探索吧。

10 個工具
xix.ai
教育與學習 頂尖 AI 補習老師助您備考:練習數學、科學和英語
頂尖 AI 補習老師助您備考:練習數學、科學和英語

2026 年最新、評價最高的考試備考 AI 輔導工具,盡在 XIX.AI!我們精心挑選的清單收錄了多款強大且顛覆傳統的工具,提供免費與付費版本的比較、實際測試,以及每週更新的排行榜。這些工具能幫助您提升寫作效率、簡化複雜主題的學習,並釋放您的學術潛能。 立即探索,發掘最適合您的備考工具,並從今天開始創作,釋放您的 AI 優勢!

10 個工具
xix.ai
金融 用於個人財務管理的 AI 預算規劃工具
用於個人財務管理的 AI 預算規劃工具

2026 年最新最佳頂級評分 AI 預算規劃工具,專為個人財務管理打造,現已登陸 XIX.AI!本精選合集收錄了強大且具顛覆性的解決方案,助您開展實際測試、理解消費習慣,並制定個性化計劃以提升生產力。享受免費與付費版的對比及詳細排名。這些必試工具旨在簡化財務管理,助您釋放 AI 優勢。立即探索!

11 個工具
xix.ai
健康與養生 AI 睡眠追蹤助手:透過更佳的睡前習慣提升恢復效果
AI 睡眠追蹤助手:透過更佳的睡前習慣提升恢復效果

2026 年最新精選、評價最高的 AI 睡眠追蹤助手,助您獲得最佳恢復效果。這份全面更新的每週指南收錄了強大的工具,提供實際測試報告、免費與付費版本的比較,以及詳細排名,協助您找到必試的解決方案,以提升睡眠品質並培養更好的就寢習慣。 立即造訪 XIX.AI,解鎖您的 AI 優勢。

10 個工具
xix.ai
數據分析 用於產品與營收分析的 AI SQL 協作助手
用於產品與營收分析的 AI SQL 協作助手

2026 年最新最佳、評價最高的 AI SQL 輔助工具,專為產品與營收分析打造! XIX.AI 精心甄選了一系列強大且顛覆業界的必試工具,這些工具均經過實戰測試,並透過每週更新的排行榜進行評比。這些工具能透過加速資料分析、簡化複雜查詢,並產生精準洞察來推動更明智的商業決策,從而大幅提升使用者生產力。立即探索,發掘最適合您的工具,釋放您的 AI 優勢!

14 個工具
xix.ai
教育與學習 最佳的「教學型」AI 作業輔助工具:學習概念,而不僅是答案
最佳的「教學型」AI 作業輔助工具:學習概念,而不僅是答案

2026 年最新最佳高評價 AI 作業輔助工具:不僅提供答案,更教授核心概念。專為學生打造的強大工具,必試精選清單,每週更新,免費與付費版本比較,實際測試,精準排名,助您充分發揮學習潛能。立即探索,發掘最適合您的工具,讓學習更聰明。

10 個工具
xix.ai
評論 (0)
0/500
OR