Le nouveau modèle d'IA d'Anthropic exploite des ordinateurs comme les humains, les erreurs incluses

Avez-vous déjà rêvé d'une IA qui peut interagir de manière transparente avec votre ordinateur, tout comme un humain? Eh bien, ce rêve est maintenant une réalité, grâce à la dernière innovation d'Anthropic. Mardi, ils ont dévoilé la nouvelle génération de leur modèle Claude AI, nommé Claude 3.5 Sonnet, qui peut faire fonctionner un ordinateur avec une finesse surprenante. Actuellement en mode bêta, cette IA est disponible pour les développeurs pour expérimenter via une API.

Anthropic étiquette fièrement Claude 3.5 Sonnet comme "First Frontier Model pour offrir une utilisation par ordinateur en bêta publique". Cela signifie que les développeurs peuvent le programmer pour effectuer une variété de tâches sur un ordinateur, comme la visualisation de l'écran, la manœuvre du curseur, cliquer sur les boutons et même taper sur un clavier virtuel. Le but? Pour reproduire la façon dont nous interagissons chaque jour avec nos ordinateurs.

Maintenant, alors que cette nouvelle IA est toujours en phase expérimentale, elle n'est pas sans hoquet. Cela peut parfois être un peu maladroit et sujet aux erreurs. Mais c'est exactement pourquoi Anthropic l'a publié en bêta - pour recueillir des commentaires précieux des développeurs et affiner le modèle au fil du temps.

Pourquoi devrions-nous nous soucier de l'IA en utilisant des ordinateurs?

Anthropic a une réponse claire à cette question: "Une grande quantité de travail moderne se produit via les ordinateurs." En permettant à l'AIS d'interagir avec les logiciels de la même manière que les humains, ils débloquent une pléthore de nouvelles applications que les assistants d'IA actuels ne peuvent pas gérer.

Comment les développeurs et les utilisateurs peuvent-ils bénéficier?

Au lieu de créer des outils spécifiques pour chaque tâche, Anthropic enseigne aux compétences informatiques générales de Claude. Cela permet à l'IA d'utiliser une large gamme de logiciels standard conçus pour les humains. Les développeurs peuvent exploiter cette capacité à automatiser les tâches répétitives, à construire et à tester les logiciels, et même effectuer des recherches.

Plusieurs entreprises tirent déjà parti des compétences informatiques de Claude 3.5 Sonnet, notamment Asana, Canva, Cognition, Doordash, Replit et la société de navigateur. Par exemple, Replit utilise ces capacités pour améliorer son produit Replit Agent.

Comment ont-ils formé Claude à utiliser des ordinateurs?

La formation Claude pour naviguer sur un ordinateur a impliqué de nombreux essais et erreurs, selon Anthropic. Le processus nécessite que l'IA comprenne et interpréter les images de l'écran de l'ordinateur, puis décide quelles actions prendre en fonction de ce qu'elle voit. Claude 3.5 Sonnet accomplit cela en analysant les captures d'écran, en comptant les pixels pour déplacer précisément le curseur et en émettant des commandes de souris.

Dans quelle mesure Claude fonctionne-t-elle?

Dans les tests d'analyse comparative d'Osworld, qui évaluent la capacité des modèles d'IA à utiliser des ordinateurs, Claude 3.5 Sonnet a obtenu un score de 14,9%. Bien que cela soit significativement inférieur aux performances de 70% à 75% de niveau humain, c'est presque le double du 7,7% noté par le prochain meilleur modèle d'IA dans la même catégorie.

Malgré ces résultats prometteurs, l'utilisation de l'ordinateur de Claude en est encore à ses balbutiements. Il ne peut pas encore effectuer des tâches plus complexes comme faire glisser Windows ou zoomer dans l'écran. De plus, car il repose sur des captures d'écran, il pourrait manquer certaines actions et notifications.

Anthropic reste optimiste, déclarant: "Nous nous attendons à ce que l'utilisation d'ordinateurs s'améliore rapidement pour devenir plus rapide, plus fiable et plus utile pour les tâches que nos utilisateurs souhaitent effectuer." Ils soulignent également que à mesure que la technologie évolue, elle deviendra plus accessible à ceux qui ont moins d'expérience en développement de logiciels, tout en conservant des mesures de sécurité strictes.

Claude 3.5 Sonnet est désormais accessible à tous. Les développeurs peuvent commencer à créer des applications avec la version bêta de l'ordinateur sur l'API anthropique, le substratum rocheux d'Amazon et le sommet de Google Cloud.