Sam Altman suscite un débat sur le ralentissement de l'IA

Le PDG d'OpenAI, Sam Altman, a récemment suggéré qu'il était peut-être temps de « rythmer le rythme du développement de l'IA » afin de permettre à la société de « se renforcer autour de certains de ces nouveaux niveaux de capacité ».

Lors du dernier épisode du podcast Equity de TechCrunch, Kirsten Korosec, Sean O’Kane et moi avons discuté de la manière dont les commentaires d'Altman ont probablement été déclenchés par un récent piratage au cours duquel un agent d'OpenAI a violé les systèmes de Hugging Face. Sean a noté que, bien qu'un piratage exécuté par un agent d'IA soit nouveau, l'attaque elle-même n'était pas « quelque chose de nouveau et avancé ».

« C'était plus comme le cambriolage de Watergate par l'équipe de Nixon que comme une véritable opération cybernétique discrète, car il n'était pas nécessaire que ce soit le cas, et il n'avait pas reçu l'ordre de l'être », a déclaré Sean. « J'espère que c'est le signe que ces entreprises prendront cela au sérieux et seront plus prudentes à ce sujet. »

Les remarques d'Altman m'ont également incité à remettre en question l'utilité du débat entre accélérationnistes et décélérationnistes, car (oui, je vais citer mes propres propos) le cadre « suggère qu'il n'y a qu'une seule voie » et « tout ce à quoi nous pouvons décider — dans la mesure où nous avons le choix — est : accélérer ou ralentir ? ».

Continuer la lecture pour un aperçu de notre conversation, éditée pour des raisons de longueur et de clarté.

Sean O’Kane : Peut-être avons-nous enfin atteint un point d'inflexion ici. Je pense qu'un grand moteur de cela est ce dont nous avons parlé la semaine dernière, concernant un modèle d'OpenAI qui a pénétré dans les données de Hugging Face et apparemment violé d'autres éléments sur Internet.

[Altman] ne demande pas une pause, comme nous l'avons vu certaines personnes dans l'industrie technologique essayer de le faire par le passé. Il a été très prudent dans ses mots en disant : « Rythmez-le. » Et nous verrons comment cela se maintient. Toute prudence que ces laboratoires expriment est souvent inversée lorsque les incitations les poussent à reprendre, à pleine vitesse. Je reste donc sceptique, surprise générale.

Kirsten Korosec : Je dirai ceci — [Altman] a peut-être été prudent dans ses mots, mais OpenAI et Anthropic ont [soutenu] une pétition qui reflète ce qu'il a effectivement dit.

Et je suis d'accord avec vous, je pense que tout cela a été fortement déclenché par Hugging Face. Cela l'a probablement effrayé, et certainement beaucoup de personnes dans l'industrie. La difficulté ici est : comment passer au travers des aiguilles, ou comment OpenAI va-t-il passer au travers des aiguilles en continuant à générer des revenus, à lever des fonds ou à réaliser une introduction en bourse réussie, et en disant « rythmez le développement ».

Je ne sais pas s'ils peuvent le faire. Je serai curieux de voir s'ils parviennent à gérer les deux.

Anthony Ha : L'une des choses avec laquelle je lutte est également cette question : l'accélération [vs.] la décélération est-elle le bon cadre pour réfléchir à cela ? Parce que cela suggère qu'il n'y a qu'une seule voie et que nous sommes tous coincés sur cette voie. Tout ce à quoi nous pouvons décider — dans la mesure où nous avons le choix — est : accélérer ou ralentir ? Par opposition à — encore une fois, je vais vraiment torturer cette métaphore — mais construisons-nous des garde-fous différents ? Choisissons-nous des chemins différents ?

Je résiste fortement à ce cadre. Par opposition à dire : « D'accord, si nous ne sommes pas satisfaits de ce que font les modèles actuellement, que pouvons-nous faire d'autre ? Un ralentissement, une pause, un arrêt sont-ils les seules options ? » Et je ne pense pas que ce soit le cas.

Une chose que je voulais souligner à nouveau, car il a été vraiment intéressant de voir le niveau d'alarme autour de cela — ce sentiment de « Que se passe-t-il si nous avons ces agents autonomes et ces modèles qui tournent en rond en se piratant mutuellement, en essayant d'empêcher les piratages, cela sort complètement de notre contrôle », conduisant à tous ces débats plus larges sur l'alignement, dont Rebecca Bellan a fait un excellent article.

Mais il vaut la peine de revenir à l'un des points que nous avons également écrits chez TechCrunch, à savoir que ce piratage spécifique — oui, il a été causé par un modèle d'OpenAI, mais il semble qu'ils n'aient tout simplement pas sécurisé correctement le site de test. En théorie, ce modèle ne devrait pas avoir pu se connecter en ligne. Maintenant, bien sûr, si vous avez une IA puissante et mal alignée, les risques de cette erreur humaine augmentent de manière spectaculaire. Mais cela commence simplement par le fait qu'ils n'ont pas sécurisé les choses comme ils l'auraient dû.

Sean : Je pense que c'est exact. Je pense que votre point est bien pris dans le sens où nous ne devrions pas seulement penser à cela de manière linéaire et savoir si les choses accélèrent ou décélèrent. Il y a beaucoup de choses à dire sur la responsabilité de ces entreprises. Lorenzo, l'un de nos collègues, a également écrit un très bon article expliquant comment les chercheurs en sécurité sérieux qui suivent ce sujet pensent que le piratage s'est réellement produit. Il semble vraiment que, des deux côtés de ce piratage, il y avait des mesures qui auraient probablement dû être prises pour l'éviter.

Et l'une des choses que j'ai trouvées les plus intéressantes dans cette histoire est que certains chercheurs soulignaient que ce que ce modèle a fait n'était pas quelque chose de nouveau ou d'avancé. C'était très humain dans la façon dont il pensait à essayer de pénétrer — sans anthropomorphiser, mais la façon dont il pensait à pénétrer dans Hugging Face — et qu'il était également très bruyant, désordonné et ne cherchait pas vraiment à cacher ses traces. C'était plus comme l'équipe de Nixon qui cambriole Watergate que comme une véritable opération cybernétique discrète, car il n'était pas nécessaire que ce soit le cas, et il n'avait pas reçu l'ordre de l'être.

Cela aurait dû être plus facilement évitable. Et j'espère que c'est le signe que ces entreprises prendront cela au sérieux et seront plus prudentes à ce sujet.

Je dirai une autre chose sur le [débat] accélération vs décélération. Je ne sais pas si c'est la motivation, mais vous avez mentionné l'introduction en bourse, Kirsten. Je pense qu'il est intelligent pour Altman de pouvoir pousser cet avantage qu'ils ont maintenant, à savoir que [OpenAI] ne se rendra pas [sur le] marché le mois prochain, ou dans deux mois. Il a même évoqué l'idée d'y aller en 2027 et qu'ils n'ont déposé leur dépôt confidentiel que pour avoir l'option prête lorsqu'ils seront prêts.

Donc, si vous croyez tout cela, il a la capacité de parler en ces termes d'une manière qu'Anthropic ne peut pas, car Anthropic est déjà en conversation avec de nombreux banquiers et se dirige vers une introduction en bourse plus proche dans le temps, et est donc plus restreint dans ce qu'il peut dire, la manière dont il doit le dire et la réaction du marché à cela.