Maison
Le nouveau modèle d'IA d'Anthropic exploite des ordinateurs comme les humains, les erreurs incluses

Avez-vous déjà rêvé d'une IA capable d'interagir avec votre ordinateur comme un humain ? Ce rêve est désormais réalité grâce à la dernière innovation d'Anthropic. Mardi, ils ont dévoilé la nouvelle génération de leur modèle d'IA Claude, nommé Claude 3.5 Sonnet, qui peut utiliser un ordinateur avec une finesse surprenante. Actuellement en mode bêta, cette IA est disponible pour les développeurs via une API.
Anthropic qualifie fièrement Claude 3.5 Sonnet de "premier modèle d'IA de pointe offrant une utilisation d'ordinateur en bêta publique." Les développeurs peuvent le programmer pour effectuer diverses tâches sur un ordinateur, comme visualiser l'écran, déplacer le curseur, cliquer sur des boutons et même taper sur un clavier virtuel. L'objectif ? Reproduire la manière dont nous interagissons quotidiennement avec nos ordinateurs.
Bien que cette nouvelle IA soit encore en phase expérimentale, elle n'est pas exempte de défauts. Elle peut être parfois maladroite et sujette aux erreurs. C'est précisément pourquoi Anthropic l'a lancée en bêta : pour recueillir les retours précieux des développeurs et affiner le modèle au fil du temps.
Pourquoi devrions-nous nous intéresser à une IA utilisant des ordinateurs ?
Anthropic a une réponse claire : "Une grande partie du travail moderne se fait via des ordinateurs." En permettant aux IA d'interagir avec les logiciels comme les humains, elles ouvrent la voie à une multitude de nouvelles applications que les assistants IA actuels ne peuvent pas gérer.
Comment les développeurs et utilisateurs peuvent-ils en bénéficier ?
Au lieu de créer des outils spécifiques pour chaque tâche, Anthropic enseigne à Claude des compétences informatiques générales. Cela permet à l'IA d'utiliser une large gamme de logiciels standards conçus pour les humains. Les développeurs peuvent exploiter cette capacité pour automatiser des tâches répétitives, développer et tester des logiciels, et même mener des recherches.
Plusieurs entreprises exploitent déjà les compétences informatiques de Claude 3.5 Sonnet, notamment Asana, Canva, Cognition, DoorDash, Replit et The Browser Company. Par exemple, Replit utilise ces capacités pour améliorer son produit Replit Agent.
Comment ont-ils entraîné Claude à utiliser des ordinateurs ?
Entraîner Claude à naviguer sur un ordinateur a nécessité de nombreux essais et erreurs, selon Anthropic. Le processus exige que l'IA comprenne et interprète des images de l'écran de l'ordinateur, puis décide des actions à entreprendre en fonction de ce qu'elle voit. Claude 3.5 Sonnet y parvient en analysant des captures d'écran, en comptant les pixels pour déplacer précisément le curseur et en exécutant des commandes de souris.
Quelles sont les performances de Claude ?
Dans les tests de benchmarking OSWorld, qui évaluent la capacité des modèles d'IA à utiliser des ordinateurs, Claude 3.5 Sonnet a obtenu un score de 14,9 %. Bien que cela soit nettement inférieur aux 70 %-75 % des performances humaines, c'est presque le double du 7,7 % obtenu par le meilleur modèle d'IA suivant dans la même catégorie.
Malgré ces résultats prometteurs, l'utilisation d'ordinateur par Claude est encore à ses débuts. Elle ne peut pas encore effectuer des tâches plus complexes comme faire glisser des fenêtres ou zoomer sur l'écran. De plus, en s'appuyant sur des captures d'écran, elle peut manquer certaines actions et notifications.
Anthropic reste optimiste, déclarant : "Nous nous attendons à ce que l'utilisation d'ordinateur s'améliore rapidement pour devenir plus rapide, plus fiable et plus utile pour les tâches que nos utilisateurs souhaitent accomplir." Ils soulignent également que, à mesure que la technologie évolue, elle deviendra plus accessible à ceux ayant moins d'expérience en développement logiciel, tout en maintenant des mesures de sécurité strictes.
Claude 3.5 Sonnet est désormais accessible à tous. Les développeurs peuvent commencer à créer des applications avec la bêta d'utilisation d'ordinateur sur l'API Anthropic, Amazon Bedrock et Vertex AI de Google Cloud.
Article connexe
Stripe va acquérir OpenRouter alors que le routage basé sur des modèles d'IA prend de l'ampleur
Stripe a conclu un accord en vue d’acquérir OpenRouter, une plateforme de routage de modèles d’IA qui permet aux développeurs d’accéder à des centaines de modèles via une interface unique. Cette acqui
Barrett Zoph, ancien chercheur chez OpenAI, revient chez Google pour contribuer au développement de Gemini
Barret Zoph, qui avait auparavant quitté brusquement l’entreprise pour rejoindre OpenAI en raison d’un désaccord avec Miriam Mularati, PDG de Thinking Machines Lab, a une nouvelle fois changé d’employ
Comment Recursive Intelligence a levé 335 millions de dollars en 4 mois, avec une valorisation de 4 milliards de dollars
Les cofondatrices de la start-up Ricursive Intelligence semblaient destinées à devenir cofondatrices.Anna Goldie, PDG, et Azalia Mirhoseini, directrice technique, sont si connues dans le milieu de l’I
Recommandations de sujets spéciaux liés
commentaires (9)
Claude 3.5 Sonnet が人間のようにエラーを起こしながらPCを操作するって、なんか怖くない?完璧なAIより、失敗する方が信頼できる気もするけど、セキュリティ面が心配だわ。😅 #Anthropic
Когда ИИ начинает делать те же ошибки, что и я в работе с компьютером, это по-своему успокаивает 😂 Меня беспокоит, насколько мы готовы доверить программному обеспечению такое прямое взаимодействие с интерфейсом. Это ведь прямая дорога как к невероятной производительности, так и к полному хаосу, если что-то пойдет не так. Кажется, пора задуматься о новых 'правилах дорожного движения' для роботов-помощников.
Этот AI, который делает ошибки, как человек, звучит одновременно и забавно, и немного тревожно 😅 Получается, мы создали идеального цифрового стажёра, который тоже путает Ctrl+C и Ctrl+V? Интересно, как это повлияет на безопасность — вдруг он случайно удалит что-то важное, пытаясь 'помочь'?
Wow, Claude 3.5 Sonnet sounds like a game-changer! An AI that mimics human computer use, errors and all? That’s wild. I wonder how it handles my messy desktop and random browser tabs 😅. Super curious to see it in action!

Avez-vous déjà rêvé d'une IA capable d'interagir avec votre ordinateur comme un humain ? Ce rêve est désormais réalité grâce à la dernière innovation d'Anthropic. Mardi, ils ont dévoilé la nouvelle génération de leur modèle d'IA Claude, nommé Claude 3.5 Sonnet, qui peut utiliser un ordinateur avec une finesse surprenante. Actuellement en mode bêta, cette IA est disponible pour les développeurs via une API.
Anthropic qualifie fièrement Claude 3.5 Sonnet de "premier modèle d'IA de pointe offrant une utilisation d'ordinateur en bêta publique." Les développeurs peuvent le programmer pour effectuer diverses tâches sur un ordinateur, comme visualiser l'écran, déplacer le curseur, cliquer sur des boutons et même taper sur un clavier virtuel. L'objectif ? Reproduire la manière dont nous interagissons quotidiennement avec nos ordinateurs.
Bien que cette nouvelle IA soit encore en phase expérimentale, elle n'est pas exempte de défauts. Elle peut être parfois maladroite et sujette aux erreurs. C'est précisément pourquoi Anthropic l'a lancée en bêta : pour recueillir les retours précieux des développeurs et affiner le modèle au fil du temps.
Pourquoi devrions-nous nous intéresser à une IA utilisant des ordinateurs ?
Anthropic a une réponse claire : "Une grande partie du travail moderne se fait via des ordinateurs." En permettant aux IA d'interagir avec les logiciels comme les humains, elles ouvrent la voie à une multitude de nouvelles applications que les assistants IA actuels ne peuvent pas gérer.
Comment les développeurs et utilisateurs peuvent-ils en bénéficier ?
Au lieu de créer des outils spécifiques pour chaque tâche, Anthropic enseigne à Claude des compétences informatiques générales. Cela permet à l'IA d'utiliser une large gamme de logiciels standards conçus pour les humains. Les développeurs peuvent exploiter cette capacité pour automatiser des tâches répétitives, développer et tester des logiciels, et même mener des recherches.
Plusieurs entreprises exploitent déjà les compétences informatiques de Claude 3.5 Sonnet, notamment Asana, Canva, Cognition, DoorDash, Replit et The Browser Company. Par exemple, Replit utilise ces capacités pour améliorer son produit Replit Agent.
Comment ont-ils entraîné Claude à utiliser des ordinateurs ?
Entraîner Claude à naviguer sur un ordinateur a nécessité de nombreux essais et erreurs, selon Anthropic. Le processus exige que l'IA comprenne et interprète des images de l'écran de l'ordinateur, puis décide des actions à entreprendre en fonction de ce qu'elle voit. Claude 3.5 Sonnet y parvient en analysant des captures d'écran, en comptant les pixels pour déplacer précisément le curseur et en exécutant des commandes de souris.
Quelles sont les performances de Claude ?
Dans les tests de benchmarking OSWorld, qui évaluent la capacité des modèles d'IA à utiliser des ordinateurs, Claude 3.5 Sonnet a obtenu un score de 14,9 %. Bien que cela soit nettement inférieur aux 70 %-75 % des performances humaines, c'est presque le double du 7,7 % obtenu par le meilleur modèle d'IA suivant dans la même catégorie.
Malgré ces résultats prometteurs, l'utilisation d'ordinateur par Claude est encore à ses débuts. Elle ne peut pas encore effectuer des tâches plus complexes comme faire glisser des fenêtres ou zoomer sur l'écran. De plus, en s'appuyant sur des captures d'écran, elle peut manquer certaines actions et notifications.
Anthropic reste optimiste, déclarant : "Nous nous attendons à ce que l'utilisation d'ordinateur s'améliore rapidement pour devenir plus rapide, plus fiable et plus utile pour les tâches que nos utilisateurs souhaitent accomplir." Ils soulignent également que, à mesure que la technologie évolue, elle deviendra plus accessible à ceux ayant moins d'expérience en développement logiciel, tout en maintenant des mesures de sécurité strictes.
Claude 3.5 Sonnet est désormais accessible à tous. Les développeurs peuvent commencer à créer des applications avec la bêta d'utilisation d'ordinateur sur l'API Anthropic, Amazon Bedrock et Vertex AI de Google Cloud.
Stripe va acquérir OpenRouter alors que le routage basé sur des modèles d'IA prend de l'ampleur
Stripe a conclu un accord en vue d’acquérir OpenRouter, une plateforme de routage de modèles d’IA qui permet aux développeurs d’accéder à des centaines de modèles via une interface unique. Cette acqui
Barrett Zoph, ancien chercheur chez OpenAI, revient chez Google pour contribuer au développement de Gemini
Barret Zoph, qui avait auparavant quitté brusquement l’entreprise pour rejoindre OpenAI en raison d’un désaccord avec Miriam Mularati, PDG de Thinking Machines Lab, a une nouvelle fois changé d’employ
Comment Recursive Intelligence a levé 335 millions de dollars en 4 mois, avec une valorisation de 4 milliards de dollars
Les cofondatrices de la start-up Ricursive Intelligence semblaient destinées à devenir cofondatrices.Anna Goldie, PDG, et Azalia Mirhoseini, directrice technique, sont si connues dans le milieu de l’I
Claude 3.5 Sonnet が人間のようにエラーを起こしながらPCを操作するって、なんか怖くない?完璧なAIより、失敗する方が信頼できる気もするけど、セキュリティ面が心配だわ。😅 #Anthropic
Когда ИИ начинает делать те же ошибки, что и я в работе с компьютером, это по-своему успокаивает 😂 Меня беспокоит, насколько мы готовы доверить программному обеспечению такое прямое взаимодействие с интерфейсом. Это ведь прямая дорога как к невероятной производительности, так и к полному хаосу, если что-то пойдет не так. Кажется, пора задуматься о новых 'правилах дорожного движения' для роботов-помощников.
Этот AI, который делает ошибки, как человек, звучит одновременно и забавно, и немного тревожно 😅 Получается, мы создали идеального цифрового стажёра, который тоже путает Ctrl+C и Ctrl+V? Интересно, как это повлияет на безопасность — вдруг он случайно удалит что-то важное, пытаясь 'помочь'?
Wow, Claude 3.5 Sonnet sounds like a game-changer! An AI that mimics human computer use, errors and all? That’s wild. I wonder how it handles my messy desktop and random browser tabs 😅. Super curious to see it in action!











