Course à l'IA : peut-on concilier vitesse fulgurante et impératifs de sécurité ?
Une critique de la sécurité de l'IA émise par un chercheur de l'OpenAI à l'encontre d'un concurrent révèle une lutte plus profonde de l'industrie, une bataille contre elle-même.
Tout a commencé lorsque Boaz Barak, professeur de Harvard actuellement en congé et travaillant sur la sécurité à OpenAI, a qualifié la publication du modèle Grok de xAI de "complètement irresponsable". Sa critique ne portait pas sur les frasques qui ont fait la une des journaux, mais plutôt sur ce qui manquait : une carte de système publique, des évaluations de sécurité détaillées et les artefacts de base de la transparence qui sont devenus des normes fragiles de l'industrie.
Il s'agissait d'un appel à l'action clair et nécessaire. Cependant, une réflexion franche de l'ancien ingénieur d'OpenAI Calvin French-Owen, publiée trois semaines seulement après son départ, révèle l'autre côté de l'histoire.
Le récit de Calvin French-Owen indique qu'un nombre important d'employés d'OpenAI se concentrent en effet sur la sécurité, s'attaquant à des menaces très réelles telles que les discours de haine, les armes biologiques et l'automutilation. Pourtant, il offre un aperçu crucial : "La plupart des travaux effectués ne sont pas publiés", écrit-il, ajoutant que l'OpenAI "devrait vraiment faire plus pour les faire connaître".
Ici, le simple récit d'un acteur responsable réprimandant un acteur irresponsable s'effondre. Au lieu de cela, nous voyons le véritable dilemme de l'industrie mis à nu. L'ensemble du secteur de l'IA est pris dans ce que l'on pourrait appeler le "paradoxe sécurité-vitesse" - un conflit profond et structurel entre la pression concurrentielle qui pousse à avancer à une vitesse vertigineuse et l'impératif éthique de procéder avec prudence pour assurer la sécurité des personnes.
Selon M. French-Owen, OpenAI fonctionne dans un état de chaos contrôlé. L'entreprise a triplé ses effectifs pour atteindre plus de 3 000 personnes en l'espace d'un an seulement, et "tout se casse la figure lorsque l'on évolue aussi rapidement". Cette énergie chaotique est alimentée par l'immense pression de ce qu'il décrit comme une "course à trois chevaux" vers l'intelligence artificielle générale, en concurrence directe avec Google et Anthropic. Il en résulte une culture définie par une vitesse incroyable, mais aussi par le secret.
Prenons par exemple le développement de Codex, l'agent de codage d'OpenAI. French-Owen décrit le projet comme un "sprint fou", au cours duquel une petite équipe a construit un produit révolutionnaire à partir de zéro en seulement sept semaines.
Il s'agit là d'un exemple classique de vélocité : il a fallu travailler jusqu'à minuit la plupart des soirs, et même les week-ends, pour y parvenir. C'est le coût humain d'une telle rapidité. Dans un environnement qui évolue aussi rapidement, il n'est pas étonnant que le travail lent et méthodique de publication de la recherche sur la sécurité de l'IA soit perçu comme une distraction de la course.
Ce paradoxe n'est pas dû à la malveillance, mais à une combinaison de forces puissantes et interconnectées.
Il y a la pression concurrentielle évidente pour être le premier. Il y a aussi l'ADN culturel de ces laboratoires, qui sont à l'origine des communautés informelles de "scientifiques et de bricoleurs" qui privilégient les innovations révolutionnaires par rapport aux processus systématiques. À cela s'ajoute un problème de mesure fondamental : il est facile d'évaluer la vitesse et les performances, mais il est exceptionnellement difficile de quantifier une catastrophe qui a été évitée avec succès.
Dans les conseils d'administration d'aujourd'hui, les mesures visibles du progrès domineront presque toujours les succès invisibles de la sécurité. Cependant, pour que l'industrie aille de l'avant, il faut cesser de rejeter la faute sur les autres et changer fondamentalement les règles du jeu.
Nous devons redéfinir ce que signifie le lancement d'un produit, en faisant de la publication d'un dossier de sécurité une partie intégrante du code lui-même. Nous avons besoin de normes applicables à l'ensemble du secteur qui garantissent qu'aucune entreprise n'est désavantagée sur le plan de la concurrence pour avoir fait preuve de diligence, transformant ainsi la sécurité d'une caractéristique optionnelle en un fondement partagé et non négociable.
Par-dessus tout, nous devons favoriser une culture au sein des laboratoires d'IA où chaque ingénieur - et pas seulement ceux du département de la sécurité - se sent responsable.
La course à la création de l'AGI n'est pas seulement une question de savoir qui arrivera le premier, mais aussi de savoir comment nous y arriverons. Le vainqueur final ne sera pas l'entreprise la plus rapide, mais celle qui montrera au monde que l'ambition et la responsabilité peuvent - et doivent - progresser ensemble.
Voir aussi : Contrats d'IA militaire attribués à Anthropic, OpenAI, Google et xAI
Vous voulez en savoir plus sur l'IA et le big data auprès des leaders de l'industrie ? Rendez-vous à l'exposition AI & Big Data qui se tient à Amsterdam, en Californie et à Londres. Cet événement complet est organisé en même temps que d'autres conférences de premier plan, notamment l'Intelligent Automation Conference, BlockX, la Digital Transformation Week et la Cyber Security & Cloud Expo.
Découvrez d'autres événements et webinaires sur les technologies d'entreprise organisés par TechForge ici.
Article connexe
Warner Music acquiert l'entreprise de démarrage Sureel AI spécialisée dans l'attribution par intelligence artificielle
Warner Music Group (WMG) a confirmé mercredi qu’elle acquiert Sureel AI, une startup spécialisée dans l’attribution par intelligence artificielle. La technologie propriétaire de Sureel génère une « ADN IA » pour les titres musicaux, en décomposant ce
Amazon présente Alexa pour les achats tout en reléguant Rufus au second plan
Amazon a lancé Alexa for Shopping, fusionnant son chatbot de shopping Rufus avec Alexa+ sur l’application, le site web et les appareils Echo Show.L’assistant répond aux requêtes sur les produits, compare les articles, suit les prix et prend en charg
Microsoft, Azure et les technologies d'IA luttent contre les risques d'incendies de forêt en Californie
Microsoft investit dans la détection des feux de forêt grâce à l'IA ; Juan Lavista Ferres, vice-président corporatif et responsable scientifique des données, évoque les stratégies visant à atténuer le
Recommandations de sujets spéciaux liés
commentaires (2)
Interesting piece! The fact that even OpenAI researchers are calling out their own competitors on safety issues shows how messy this race is. 🏃♂️💨 But can we really slow down without losing the edge? Feels like a prisoner's dilemma with existential stakes. 🤔
Die KI-Branche wirkt wie ein Formel-1-Rennen mit kaputten Bremsen 😅. Jeder will der Schnellste sein, aber wenn niemand Sicherheitsvorkehrungen trifft, endet das im Chaos. Interessant, dass selbst OpenAI-Mitarbeiter die Konkurrenz kritisieren – zeigt, wie gespalten die Branche ist. Vielleicht brauchen wir weniger Wettrennen und mehr Zusammenarbeit?
Une critique de la sécurité de l'IA émise par un chercheur de l'OpenAI à l'encontre d'un concurrent révèle une lutte plus profonde de l'industrie, une bataille contre elle-même.
Tout a commencé lorsque Boaz Barak, professeur de Harvard actuellement en congé et travaillant sur la sécurité à OpenAI, a qualifié la publication du modèle Grok de xAI de "complètement irresponsable". Sa critique ne portait pas sur les frasques qui ont fait la une des journaux, mais plutôt sur ce qui manquait : une carte de système publique, des évaluations de sécurité détaillées et les artefacts de base de la transparence qui sont devenus des normes fragiles de l'industrie.
Il s'agissait d'un appel à l'action clair et nécessaire. Cependant, une réflexion franche de l'ancien ingénieur d'OpenAI Calvin French-Owen, publiée trois semaines seulement après son départ, révèle l'autre côté de l'histoire.
Le récit de Calvin French-Owen indique qu'un nombre important d'employés d'OpenAI se concentrent en effet sur la sécurité, s'attaquant à des menaces très réelles telles que les discours de haine, les armes biologiques et l'automutilation. Pourtant, il offre un aperçu crucial : "La plupart des travaux effectués ne sont pas publiés", écrit-il, ajoutant que l'OpenAI "devrait vraiment faire plus pour les faire connaître".
Ici, le simple récit d'un acteur responsable réprimandant un acteur irresponsable s'effondre. Au lieu de cela, nous voyons le véritable dilemme de l'industrie mis à nu. L'ensemble du secteur de l'IA est pris dans ce que l'on pourrait appeler le "paradoxe sécurité-vitesse" - un conflit profond et structurel entre la pression concurrentielle qui pousse à avancer à une vitesse vertigineuse et l'impératif éthique de procéder avec prudence pour assurer la sécurité des personnes.
Selon M. French-Owen, OpenAI fonctionne dans un état de chaos contrôlé. L'entreprise a triplé ses effectifs pour atteindre plus de 3 000 personnes en l'espace d'un an seulement, et "tout se casse la figure lorsque l'on évolue aussi rapidement". Cette énergie chaotique est alimentée par l'immense pression de ce qu'il décrit comme une "course à trois chevaux" vers l'intelligence artificielle générale, en concurrence directe avec Google et Anthropic. Il en résulte une culture définie par une vitesse incroyable, mais aussi par le secret.
Prenons par exemple le développement de Codex, l'agent de codage d'OpenAI. French-Owen décrit le projet comme un "sprint fou", au cours duquel une petite équipe a construit un produit révolutionnaire à partir de zéro en seulement sept semaines.
Il s'agit là d'un exemple classique de vélocité : il a fallu travailler jusqu'à minuit la plupart des soirs, et même les week-ends, pour y parvenir. C'est le coût humain d'une telle rapidité. Dans un environnement qui évolue aussi rapidement, il n'est pas étonnant que le travail lent et méthodique de publication de la recherche sur la sécurité de l'IA soit perçu comme une distraction de la course.
Ce paradoxe n'est pas dû à la malveillance, mais à une combinaison de forces puissantes et interconnectées.
Il y a la pression concurrentielle évidente pour être le premier. Il y a aussi l'ADN culturel de ces laboratoires, qui sont à l'origine des communautés informelles de "scientifiques et de bricoleurs" qui privilégient les innovations révolutionnaires par rapport aux processus systématiques. À cela s'ajoute un problème de mesure fondamental : il est facile d'évaluer la vitesse et les performances, mais il est exceptionnellement difficile de quantifier une catastrophe qui a été évitée avec succès.
Dans les conseils d'administration d'aujourd'hui, les mesures visibles du progrès domineront presque toujours les succès invisibles de la sécurité. Cependant, pour que l'industrie aille de l'avant, il faut cesser de rejeter la faute sur les autres et changer fondamentalement les règles du jeu.
Nous devons redéfinir ce que signifie le lancement d'un produit, en faisant de la publication d'un dossier de sécurité une partie intégrante du code lui-même. Nous avons besoin de normes applicables à l'ensemble du secteur qui garantissent qu'aucune entreprise n'est désavantagée sur le plan de la concurrence pour avoir fait preuve de diligence, transformant ainsi la sécurité d'une caractéristique optionnelle en un fondement partagé et non négociable.
Par-dessus tout, nous devons favoriser une culture au sein des laboratoires d'IA où chaque ingénieur - et pas seulement ceux du département de la sécurité - se sent responsable.
La course à la création de l'AGI n'est pas seulement une question de savoir qui arrivera le premier, mais aussi de savoir comment nous y arriverons. Le vainqueur final ne sera pas l'entreprise la plus rapide, mais celle qui montrera au monde que l'ambition et la responsabilité peuvent - et doivent - progresser ensemble.
Voir aussi : Contrats d'IA militaire attribués à Anthropic, OpenAI, Google et xAI
Vous voulez en savoir plus sur l'IA et le big data auprès des leaders de l'industrie ? Rendez-vous à l'exposition AI & Big Data qui se tient à Amsterdam, en Californie et à Londres. Cet événement complet est organisé en même temps que d'autres conférences de premier plan, notamment l'Intelligent Automation Conference, BlockX, la Digital Transformation Week et la Cyber Security & Cloud Expo.
Découvrez d'autres événements et webinaires sur les technologies d'entreprise organisés par TechForge ici.
Warner Music acquiert l'entreprise de démarrage Sureel AI spécialisée dans l'attribution par intelligence artificielle
Warner Music Group (WMG) a confirmé mercredi qu’elle acquiert Sureel AI, une startup spécialisée dans l’attribution par intelligence artificielle. La technologie propriétaire de Sureel génère une « ADN IA » pour les titres musicaux, en décomposant ce
Microsoft, Azure et les technologies d'IA luttent contre les risques d'incendies de forêt en Californie
Microsoft investit dans la détection des feux de forêt grâce à l'IA ; Juan Lavista Ferres, vice-président corporatif et responsable scientifique des données, évoque les stratégies visant à atténuer le
Interesting piece! The fact that even OpenAI researchers are calling out their own competitors on safety issues shows how messy this race is. 🏃♂️💨 But can we really slow down without losing the edge? Feels like a prisoner's dilemma with existential stakes. 🤔
Die KI-Branche wirkt wie ein Formel-1-Rennen mit kaputten Bremsen 😅. Jeder will der Schnellste sein, aber wenn niemand Sicherheitsvorkehrungen trifft, endet das im Chaos. Interessant, dass selbst OpenAI-Mitarbeiter die Konkurrenz kritisieren – zeigt, wie gespalten die Branche ist. Vielleicht brauchen wir weniger Wettrennen und mehr Zusammenarbeit?





Maison






