Zhipu AI dévoile le GLM-5V-Turbo, qui dote les agents IA de capacités de vision avancées

Le 2 avril, Zhipu a officiellement lancé un modèle de base de codage multimodal spécialement conçu pour la programmation visuelle : GLM-5V-Turbo. Ce modèle ne se contente pas d'écrire du code, il est également capable de « comprendre » le monde visuel, dans le but d'étendre la perception des agents IA du simple texte à des maquettes de conception riches et à des interfaces web.

Avancée majeure : comprendre les éléments visuels pour écrire du code

En tant que modèle de base de codage multimodal natif, GLM-5V-Turbo réalise une fusion profonde entre la compréhension visuelle et les capacités de programmation :

Perception multimodale native : il est capable de comprendre en profondeur les images, les vidéos, les ébauches de conception et les mises en page complexes de documents, prenant en charge les interactions avec des outils visuels tels que les cadres d'écran, les captures d'écran et la navigation sur le Web.

Contexte élargi : la fenêtre contextuelle a été considérablement étendue à 200 000 caractères, ce qui permet aux agents de gérer facilement des projets à grande échelle ou de longues documentations techniques.

Bonne performance : dans les tests de référence clés pour le codage multimodal et les tâches d'agents GUI, le modèle offre des performances de pointe avec une taille plus compacte, tout en conservant un raisonnement logique solide dans les scénarios de texte brut.

Cas d'utilisation typiques : de l'« esquisse » au « produit final » en quelques secondes

Avec GLM-5V-Turbo, les développeurs peuvent bénéficier d’un flux de travail transformateur :

Réplication front-end : il suffit de fournir une esquisse, une capture d'écran d'un design ou un enregistrement d'écran. Le modèle interprète la mise en page, la palette de couleurs et la logique d'interaction pour générer un projet front-end complet et fonctionnel qui reflète fidèlement le design visuel.

Exploration autonome de l'interface graphique : lorsqu'il est intégré à des frameworks tels que Claude Code, il peut parcourir de manière autonome des sites web, cartographier des structures de navigation et collecter des ressources, passant ainsi d'une « réplication basée sur l'image » à une « réplication exploratoire active ».

Édition interactive : il prend en charge l'ajout, la suppression ou la modification de modules, de texte ou de mises en page directement via des instructions conversationnelles, permettant ainsi un développement de code visuel et itératif.

Renforcer « Lobster » : l'évolution visuelle d'AutoClaw

L'intégration de ce modèle à l'agent propriétaire de Zhipu, AutoClaw (Lobster), a doté « Lobster », qui ne disposait auparavant que de capacités textuelles, de véritables capacités visuelles.

Interprétation approfondie des graphiques : Lobster peut désormais analyser directement les graphiques en courbes K, les graphiques de fourchettes de valorisation et les rapports de recherche des courtiers.

Résultats efficaces : il prend en charge la collecte parallèle de données provenant de quatre sources en moins de 60 secondes, générant automatiquement des rapports d'analyse professionnels ou des présentations PowerPoint riches en visuels et en texte.

Perspective sectorielle : la programmation dépasse le stade du « travail à l'aveugle »

Le lancement de GLM-5V-Turbo marque le passage réussi de Zhipu d'une compréhension de l'IA fondée sur la simple logique syntaxique à une logique perceptuelle. Lorsque l'IA est capable de « voir » l'écran et de comprendre l'environnement opérationnel humain, l'ère de la véritable assistance à la programmation automatisée (Agentic Coding) a véritablement commencé.