Le nouveau modèle d'IA d'Anthropic exploite des ordinateurs comme les humains, les erreurs incluses

Avez-vous déjà rêvé d'une IA capable d'interagir avec votre ordinateur comme un humain ? Ce rêve est désormais réalité grâce à la dernière innovation d'Anthropic. Mardi, ils ont dévoilé la nouvelle génération de leur modèle d'IA Claude, nommé Claude 3.5 Sonnet, qui peut utiliser un ordinateur avec une finesse surprenante. Actuellement en mode bêta, cette IA est disponible pour les développeurs via une API.

Anthropic qualifie fièrement Claude 3.5 Sonnet de "premier modèle d'IA de pointe offrant une utilisation d'ordinateur en bêta publique." Les développeurs peuvent le programmer pour effectuer diverses tâches sur un ordinateur, comme visualiser l'écran, déplacer le curseur, cliquer sur des boutons et même taper sur un clavier virtuel. L'objectif ? Reproduire la manière dont nous interagissons quotidiennement avec nos ordinateurs.

Bien que cette nouvelle IA soit encore en phase expérimentale, elle n'est pas exempte de défauts. Elle peut être parfois maladroite et sujette aux erreurs. C'est précisément pourquoi Anthropic l'a lancée en bêta : pour recueillir les retours précieux des développeurs et affiner le modèle au fil du temps.

Pourquoi devrions-nous nous intéresser à une IA utilisant des ordinateurs ?

Anthropic a une réponse claire : "Une grande partie du travail moderne se fait via des ordinateurs." En permettant aux IA d'interagir avec les logiciels comme les humains, elles ouvrent la voie à une multitude de nouvelles applications que les assistants IA actuels ne peuvent pas gérer.

Comment les développeurs et utilisateurs peuvent-ils en bénéficier ?

Au lieu de créer des outils spécifiques pour chaque tâche, Anthropic enseigne à Claude des compétences informatiques générales. Cela permet à l'IA d'utiliser une large gamme de logiciels standards conçus pour les humains. Les développeurs peuvent exploiter cette capacité pour automatiser des tâches répétitives, développer et tester des logiciels, et même mener des recherches.

Plusieurs entreprises exploitent déjà les compétences informatiques de Claude 3.5 Sonnet, notamment Asana, Canva, Cognition, DoorDash, Replit et The Browser Company. Par exemple, Replit utilise ces capacités pour améliorer son produit Replit Agent.

Comment ont-ils entraîné Claude à utiliser des ordinateurs ?

Entraîner Claude à naviguer sur un ordinateur a nécessité de nombreux essais et erreurs, selon Anthropic. Le processus exige que l'IA comprenne et interprète des images de l'écran de l'ordinateur, puis décide des actions à entreprendre en fonction de ce qu'elle voit. Claude 3.5 Sonnet y parvient en analysant des captures d'écran, en comptant les pixels pour déplacer précisément le curseur et en exécutant des commandes de souris.

Quelles sont les performances de Claude ?

Dans les tests de benchmarking OSWorld, qui évaluent la capacité des modèles d'IA à utiliser des ordinateurs, Claude 3.5 Sonnet a obtenu un score de 14,9 %. Bien que cela soit nettement inférieur aux 70 %-75 % des performances humaines, c'est presque le double du 7,7 % obtenu par le meilleur modèle d'IA suivant dans la même catégorie.

Malgré ces résultats prometteurs, l'utilisation d'ordinateur par Claude est encore à ses débuts. Elle ne peut pas encore effectuer des tâches plus complexes comme faire glisser des fenêtres ou zoomer sur l'écran. De plus, en s'appuyant sur des captures d'écran, elle peut manquer certaines actions et notifications.

Anthropic reste optimiste, déclarant : "Nous nous attendons à ce que l'utilisation d'ordinateur s'améliore rapidement pour devenir plus rapide, plus fiable et plus utile pour les tâches que nos utilisateurs souhaitent accomplir." Ils soulignent également que, à mesure que la technologie évolue, elle deviendra plus accessible à ceux ayant moins d'expérience en développement logiciel, tout en maintenant des mesures de sécurité strictes.

Claude 3.5 Sonnet est désormais accessible à tous. Les développeurs peuvent commencer à créer des applications avec la bêta d'utilisation d'ordinateur sur l'API Anthropic, Amazon Bedrock et Vertex AI de Google Cloud.