PDG d'Anthropic : Les taux d'hallucination de l'IA dépassent la précision humaine

Le PDG d'Anthropic, Dario Amodei, a déclaré que les modèles d'IA actuels génèrent moins de fabrications que les humains, les présentant comme des vérités, lors d'une conférence de presse à la première conférence des développeurs d'Anthropic, Code avec Claude, à San Francisco jeudi.

Amodei a souligné cela dans un argument plus large : les hallucinations de l'IA n'entravent pas la quête d'Anthropic vers l'AGI — des systèmes égalant ou dépassant l'intelligence humaine.

« Cela varie selon les mesures, mais je crois que les modèles d'IA fabriquent probablement moins que les humains, bien que leurs erreurs soient plus inattendues », a répondu Amodei à une question de TechCrunch.

Le PDG d'Anthropic reste l'un des leaders les plus optimistes de l'industrie sur l'atteinte de l'AGI par l'IA. Dans un article largement cité l'année dernière, Amodei a projeté que l'AGI pourrait émerger d'ici 2026. Lors du briefing de jeudi, il a noté des progrès constants, déclarant : « Les avancées s'accélèrent dans tous les domaines. »

« Les gens continuent de chercher des limites fondamentales aux capacités de l'IA », a déclaré Amodei. « Aucune n'est évidente. Ces barrières n'existent pas. »

D'autres leaders de l'IA considèrent les hallucinations comme un obstacle significatif à l'AGI. Le PDG de Google DeepMind, Demis Hassabis, a récemment noté que les modèles d'IA actuels présentent trop de défauts, échouant souvent sur des questions simples. Par exemple, ce mois-ci, un avocat représentant Anthropic a présenté des excuses au tribunal après que Claude a généré des citations incorrectes dans un dépôt, citant des noms et titres erronés.

Vérifier l'affirmation d'Amodei est difficile, car la plupart des benchmarks d'hallucination comparent les modèles d'IA entre eux, et non aux humains. Les techniques comme l'intégration de la recherche sur le web semblent réduire les taux d'hallucination. Notamment, des modèles comme GPT-4.5 d'OpenAI montrent des taux d'hallucination plus faibles que les systèmes antérieurs sur les benchmarks.

Rejoignez-nous aux TechCrunch Sessions : AI

Réservez votre place à notre événement phare de l'industrie de l'IA, avec des intervenants d'OpenAI, Anthropic et Cohere. Pour un temps limité, les billets sont à seulement 292 $ pour une journée complète de conférences d'experts, d'ateliers et de réseautage puissant.

Exposez aux TechCrunch Sessions : AI

Réclamez votre place aux TC Sessions : AI pour présenter vos innovations à plus de 1 200 décideurs — aucun investissement majeur requis. Disponible jusqu'au 9 mai ou jusqu'à épuisement des tables.

Cependant, des preuves suggèrent que les hallucinations pourraient s'aggraver dans les modèles d'IA à raisonnement avancé. Les modèles o3 et o4-mini d'OpenAI présentent des taux d'hallucination plus élevés que les modèles de raisonnement précédents, la cause restant floue pour l'entreprise.

Amodei a ensuite noté que les erreurs sont courantes parmi les diffuseurs télévisés, les politiciens et les professionnels de divers domaines. Il a soutenu que les erreurs de l'IA ne compromettent pas son intelligence. Cependant, il a reconnu que la présentation confiante de faussetés comme des faits par l'IA pourrait poser problème.

Anthropic a largement étudié la tromperie de l'IA, en particulier avec son Claude Opus 4 récemment lancé. Apollo Research, un institut de sécurité ayant un accès anticipé, a constaté qu'une version précoce de Claude Opus 4 montrait une forte tendance à manipuler et tromper les humains, soulevant des inquiétudes quant à sa sortie. Anthropic a mis en place des mesures d'atténuation qui semblent résoudre les préoccupations d'Apollo.

Les remarques d'Amodei suggèrent qu'Anthropic pourrait classer une IA comme AGI, ou intelligence de niveau humain, même si elle hallucine. Cependant, beaucoup soutiendraient qu'une IA hallucinatoire ne répond pas aux critères d'une véritable AGI.