Tencent dévoile WorkBuddy Bench : un environnement de test pour agents intelligents de programmation intégrant les domaines du code, du Web, de la suite Office et de la sécurité

Historiquement, les agents de codage ont été limités à des domaines restreints — tels que la correction de bogues sur SWE-bench ou les tâches de front-end sur Design2Code — tandis que les benchmarks en conditions réelles restent largement inaccessibles à toute évaluation externe. Tencent comble cette lacune avec WorkBuddy Bench, une suite d’évaluation multidomaine décrite en détail dans un article récemment publié sur arXiv. Sa caractéristique principale n’est pas le volume de tâches, mais une architecture conçue explicitement pour empêcher la mémorisation des réponses.

Ce benchmark couvre quatre domaines professionnels : le génie logiciel (code au niveau du référentiel), le développement front-end (artefacts web), les opérations métier (workflows bureautiques multi-fichiers) et la cybersécurité (scénarios « red team » et « blue team »). La suite comprend respectivement 80, 70, 50 et 60 tâches, pour un total de 260. Il est essentiel de noter qu’aucune tâche ne provient de banques de questions publiques ; elles sont au contraire issues d’une ingénierie inverse à partir de commits de code réels, de pull requests ou de contextes métier, puis reformulées en consignes concises, familières et basées sur des jeux de rôle. Cette approche garantit que les recherches en ligne visant à trouver des indices sur les pull requests ou les commits correspondants ne donnent aucun résultat, ce qui empêche efficacement la mémorisation. Le jeu de données étant entièrement ouvert — y compris les répertoires, les images d’environnement, les outils d’évaluation, les cas de test et les solutions de référence —, sa résistance à la contamination repose sur cette méthode de construction et sur le contrôle de version plutôt que sur l’opacité.

Bien que les quatre sous-ensembles partagent une structure de répertoires unifiée, chacun utilise des indicateurs de validation distincts, ce qui rend invalide toute comparaison directe des scores entre les sous-ensembles. Par conséquent, Tencent ne publie pas de score global pour la suite de tests. Les tâches de codage sont évaluées via des taux de réussite cachés aux tests ; les tâches web combinent des vérifications de règles avec des évaluations de LLM/VLM et d’agents, nécessitant la livraison d’artefacts selon un chemin spécifié sans accès à Internet en direct ; les tâches de bureau utilisent des vérifications de règles déterministes pondérées entre 0,70 et 0,95, parallèlement à une évaluation LLM fondée sur des preuves ; et les tâches de sécurité s’appuient sur des scripts scoring.py déterministes exécutés trois fois pour le calcul de la moyenne, en excluant les grands modèles en tant que juges. Le sous-ensemble de sécurité met en œuvre cinq couches anti-tricherie : la désactivation de l’analyse littérale, le renommage des entrées, le masquage des tests altérés, l’encodage des dépendances et l’utilisation de tâches leurres à faible pondération. Il comprend 38 tâches de « red team » et 22 de « blue team », avec des audits en boîte blanche ancrés sur des CVE réels dans binutils, curl et nginx.

La création des tâches suit un pipeline standardisé : collecte des sources, réécriture sous forme de requêtes authentiques, assemblage de l’espace de travail, isolation des ressources d’évaluation après exécution et regroupement dans des répertoires indépendants. Les données utilisateur restent intactes tout au long du processus. Les tâches de codage attribuent cinq rôles distincts (développeur, ingénieur en algorithmes, chef de produit, assurance qualité, opérations), tandis que les tâches de sécurité attribuent des profils professionnels. Des informations délibérément incomplètes sont fournies — les fichiers cibles, les modèles et les limites ne sont pas divulgués —, ce qui oblige les agents à récupérer le contexte de manière autonome. Les éléments de notation ne sont révélés qu’après l’exécution, garantissant ainsi que les agents ne les rencontrent jamais pendant l’opération.

Les évaluations se déroulent dans des conteneurs isolés avec des environnements de modèle et de sandbox séparés. Le cadre utilise CodeBuddy Code (par défaut) et Claude Code, en recourant à des efforts de raisonnement accrus et à une fenêtre de contexte de 200 000 caractères, tout en désactivant WebSearch et AskUserQuestion. Cette restriction est essentielle : la désactivation de la recherche en ligne permet de vérifier si les mécanismes de résistance à la contamination fonctionnent comme prévu.

Le classement répertorie plusieurs familles de modèles (scores de 0 à 100, mode « thinking », trois moyennes). Claude Opus4.8 domine les premières places dans les catégories code, web, bureautique et sécurité, remportant cinq premières places ; GLM-5.2 arrive en tête dans deux catégories de sécurité, et GPT-5.5 occupe la première place en bureautique (cc). Le cadre fait preuve d’une grande sensibilité, en particulier en matière de sécurité, où les variations moyennes absolues de classement atteignent 8,6 points. Dans le cadre « cc », Claude Opus4.8 a rejeté 13 réponses, contre deux rejets pour GPT-5.5 dans le cadre « cbc ». En termes d’efficacité, GPT-5.5 génère le moins de tokens tout en conservant des scores compétitifs, tandis que DeepSeek-V4-Pro a exécuté 44 cycles de code avec un débit de tokens élevé, ce qui reflète une approche plus gourmande en ressources.