Une hallucination de l'IA a failli déclencher une opération militaire américaine

Au cours du printemps, des responsables américains ont fait une découverte stupéfiante alors que des avions militaires étaient déjà en l’air : les renseignements qui guidaient une frappe armée contre un navire chinois avaient été entièrement fabriqués par un chatbot d’intelligence artificielle. L’opération a été annulée à la dernière minute, évitant de justesse un affrontement potentiel avec la Chine, a rapporté CNN vendredi.
Cet incident met en lumière une inquiétude croissante parmi les dirigeants militaires et les experts externes : à mesure que les décideurs s’appuient de plus en plus sur l’IA, les erreurs générées par ces systèmes peuvent se propager dans la chaîne de commandement avant d’être examinées.
Le rapport de renseignement, qui a circulé pendant le conflit avec l’Iran, affirmait que le navire transportait des composants destinés à un programme d’armes nucléaires.
La désinformation provenait d’un analyste du Commandement des opérations spéciales qui avait utilisé un chatbot d’IA pour combiner des données en accès libre avec des renseignements signalétiques classifiés. Le chatbot a identifié incorrectement le manifeste de cargaison du navire. L’analyste a ensuite utilisé l’outil une seconde fois pour mettre en forme ces résultats erronés dans un résumé officiel, qui a été distribué sur les canaux de commandement.
Ce quasi-accident survient alors que l’armée américaine s’efforce d’intégrer l’IA pour accélérer la prise de décision et maintenir son avantage stratégique face à la Chine. Le Pentagone a décrit l’IA comme offrant un avantage significatif en accélérant la chaîne d’élimination, permettant aux commandants de réagir en temps utile. Cependant, la même rapidité qui rend l’IA attrayante peut également permettre aux hallucinations de persister avec un contrôle humain insuffisant.
« Il est important que les membres des services comprennent l’incertitude inhérente aux grands modèles de langage (LLM) », a déclaré Jake Steckler, chercheur à GovAI et ancien officier de l’armée américaine, dans une réponse écrite à TechCrunch. « Mais il est particulièrement critique pour toute décision susceptible de conduire à l’usage de la force, comme le ciblage, l’analyse du renseignement ou la planification opérationnelle. Il y a des conséquences de vie ou de mort pour ces décisions. »
Néanmoins, Steckler soutient que l’incident devrait servir d’appel à ajouter davantage de garanties à l’IA, et non une raison de l’éviter. « Ces outils peuvent être utiles dans les bons contextes et avec les bonnes garanties en place », a-t-il déclaré. « Mais privilégier la vitesse d’adoption par rapport à tout autre facteur conduira probablement à des incidents qui feront perdre la confiance des membres des services dans ces systèmes, ce qui ralentira in fine l’adoption. »
Article connexe
Les Karpas de Nvidia : des robots en attente d’un moment ChatGPT lors de TechCrunch Disrupt 2026
Le lancement de ChatGPT en novembre 2022 a brusquement fait passer l’IA d’une hypothèse théorique à une utilité quotidienne, modifiant fondamentalement notre façon d’interagir avec les grands modèles de langage.La robotique fait depuis longtemps l’ob
Anthropic met en garde les petits modèles d’IA pourraient se répliquer eux-mêmes d’ici la fin de l’année
Anthropic a émis un autre avertissement urgent : les modèles d’IA pourraient potentiellement apprendre à se répliquer eux-mêmes en quelques mois, et une fois ce processus initié, il n’existe pratiquement pas de bouton « arrêt ». Selon les dernières r
Anthropic lance Claude Fable 5.1 et Mythos 5.1, doublant les benchmarks de programmation et réduisant les coûts de lecture du cache de 75 %
Le 1er septembre, Anthropic a dévoilé Claude Fable 5.1 et Claude Mythos 5.1, les présentant comme les modèles les plus avancés au monde pour la programmation et le travail du savoir. Construits sur une architecture de base commune, ces modèles diffèr
Recommandations de sujets spéciaux liés
commentaires (0)

Au cours du printemps, des responsables américains ont fait une découverte stupéfiante alors que des avions militaires étaient déjà en l’air : les renseignements qui guidaient une frappe armée contre un navire chinois avaient été entièrement fabriqués par un chatbot d’intelligence artificielle. L’opération a été annulée à la dernière minute, évitant de justesse un affrontement potentiel avec la Chine, a rapporté CNN vendredi.
Cet incident met en lumière une inquiétude croissante parmi les dirigeants militaires et les experts externes : à mesure que les décideurs s’appuient de plus en plus sur l’IA, les erreurs générées par ces systèmes peuvent se propager dans la chaîne de commandement avant d’être examinées.
Le rapport de renseignement, qui a circulé pendant le conflit avec l’Iran, affirmait que le navire transportait des composants destinés à un programme d’armes nucléaires.
La désinformation provenait d’un analyste du Commandement des opérations spéciales qui avait utilisé un chatbot d’IA pour combiner des données en accès libre avec des renseignements signalétiques classifiés. Le chatbot a identifié incorrectement le manifeste de cargaison du navire. L’analyste a ensuite utilisé l’outil une seconde fois pour mettre en forme ces résultats erronés dans un résumé officiel, qui a été distribué sur les canaux de commandement.
Ce quasi-accident survient alors que l’armée américaine s’efforce d’intégrer l’IA pour accélérer la prise de décision et maintenir son avantage stratégique face à la Chine. Le Pentagone a décrit l’IA comme offrant un avantage significatif en accélérant la chaîne d’élimination, permettant aux commandants de réagir en temps utile. Cependant, la même rapidité qui rend l’IA attrayante peut également permettre aux hallucinations de persister avec un contrôle humain insuffisant.
« Il est important que les membres des services comprennent l’incertitude inhérente aux grands modèles de langage (LLM) », a déclaré Jake Steckler, chercheur à GovAI et ancien officier de l’armée américaine, dans une réponse écrite à TechCrunch. « Mais il est particulièrement critique pour toute décision susceptible de conduire à l’usage de la force, comme le ciblage, l’analyse du renseignement ou la planification opérationnelle. Il y a des conséquences de vie ou de mort pour ces décisions. »
Néanmoins, Steckler soutient que l’incident devrait servir d’appel à ajouter davantage de garanties à l’IA, et non une raison de l’éviter. « Ces outils peuvent être utiles dans les bons contextes et avec les bonnes garanties en place », a-t-il déclaré. « Mais privilégier la vitesse d’adoption par rapport à tout autre facteur conduira probablement à des incidents qui feront perdre la confiance des membres des services dans ces systèmes, ce qui ralentira in fine l’adoption. »
Les Karpas de Nvidia : des robots en attente d’un moment ChatGPT lors de TechCrunch Disrupt 2026
Le lancement de ChatGPT en novembre 2022 a brusquement fait passer l’IA d’une hypothèse théorique à une utilité quotidienne, modifiant fondamentalement notre façon d’interagir avec les grands modèles de langage.La robotique fait depuis longtemps l’ob
Anthropic met en garde les petits modèles d’IA pourraient se répliquer eux-mêmes d’ici la fin de l’année
Anthropic a émis un autre avertissement urgent : les modèles d’IA pourraient potentiellement apprendre à se répliquer eux-mêmes en quelques mois, et une fois ce processus initié, il n’existe pratiquement pas de bouton « arrêt ». Selon les dernières r
Anthropic lance Claude Fable 5.1 et Mythos 5.1, doublant les benchmarks de programmation et réduisant les coûts de lecture du cache de 75 %
Le 1er septembre, Anthropic a dévoilé Claude Fable 5.1 et Claude Mythos 5.1, les présentant comme les modèles les plus avancés au monde pour la programmation et le travail du savoir. Construits sur une architecture de base commune, ces modèles diffèr





Maison






