Ex-Openai Policy Lead Slams Company pour modifier le récit de la sécurité de l'IA

# openai # policy

Un ancien chercheur en politique OpenAI, Miles Brundage, s'est récemment rendu sur les réseaux sociaux pour appeler Openai pour ce qu'il considère comme une tentative de "réécrire l'histoire" de son approche pour déployer des systèmes d'IA potentiellement risqués. Cette semaine, OpenAI a publié un document détaillant sa position actuelle sur la sécurité et l'alignement de l'IA, le processus de garantie sur les systèmes d'IA agit de manière prévisible et bénéfique. Dans ce document, OpenAI a décrit le développement d'AGI ou des systèmes d'IA capables de toute tâche qu'un humain peut faire, comme un "chemin continu" qui implique "le déploiement et l'apprentissage itérativement" des technologies d'IA. "Dans un monde discontinu [...] Les leçons de sécurité proviennent du traitement des systèmes d'aujourd'hui avec une prudence démesurée par rapport à leur pouvoir apparent, [qui] est l'approche que nous avons adoptée pour [notre modèle d'IA] GPT-2", a déclaré Openai dans le document. "Nous considérons maintenant le premier AGI comme un seul point le long d'une série de systèmes d'utilité croissante [...] dans le monde continu, la façon de rendre le système suivant sûr et bénéfique est d'apprendre du système actuel." Cependant, Brundage fait valoir que l'approche prudente adoptée avec GPT-2 était entièrement conforme à la stratégie de déploiement itérative actuelle d'OpenAI. "La sortie d'Openai de GPT-2, dans laquelle j'étais impliqué, était à 100% cohérente [avec et] préfigurant la philosophie actuelle d'Openai de déploiement itérative", Brundage a publié sur X. "Le modèle a été publié progressivement, avec des leçons partagées à chaque étape. De nombreux experts en sécurité à l'époque nous ont remercié pour cette prudence." Brundage, qui a rejoint Openai en tant que chercheur en 2018 et est devenu plus tard le chef de la recherche politique de l'entreprise, a concentré le déploiement responsable de systèmes de génération de langues comme Chatgpt lors de l'équipe "AGI Readiness" d'OpenAI. GPT-2, annoncé par OpenAI en 2019, était un précurseur des systèmes d'IA derrière Chatgpt. Il pourrait répondre aux questions, résumer les articles et générer du texte qui était parfois indiscernable de l'écriture humaine. Bien que le GPT-2 puisse sembler basique maintenant, il était révolutionnaire à l'époque. En raison des préoccupations concernant une utilisation abusive potentielle, OpenAI a initialement retenu le code source du modèle, permettant plutôt que des médias sélectionnés un accès limité à une démo. La décision a reçu des commentaires mitigés de la communauté de l'IA. Certains ont fait valoir que les risques associés au GPT-2 étaient surestimés et qu'il n'y avait aucune preuve pour soutenir les préoccupations d'Openai concernant une mauvaise utilisation. La publication axée sur l'IA Le gradient a même publié une lettre ouverte exhortant Openai à publier le modèle, citant sa signification technologique. Openai a finalement publié une version partielle de GPT-2 six mois après son annonce, suivie du système complet plusieurs mois plus tard. Brundage pense que c'était la bonne approche. "Quelle partie de [la version du GPT-2] a été motivée ou fondée sur la pensée d'AGI comme discontinue? Rien de tout cela", a-t-il déclaré sur X. "Quelle est la preuve que cette prudence était" disproportionnée "ex ante? Ex post, il aurait probablement été correct, mais cela ne signifie pas qu'il était responsable de yolo it [sic] donné d'informations à l'époque." Brundage craint que le document d'Openai vise à établir une charge de preuve élevée, où les préoccupations sont rejetées comme alarmistes à moins qu'il y ait des preuves écrasantes de dangers imminents. Il trouve cet état d'esprit "très dangereux" pour les systèmes d'IA avancés. "Si je travaillais toujours à Openai, je demanderais pourquoi ce [document] a été écrit tel qu'il était, et ce que Openai espère exactement réaliser en faisant la prudence de la manière aussi lopieuse", a ajouté Brundage. Openai a fait face à des critiques dans le passé pour hiérarchiser les "produits brillants" sur la sécurité et les versions de précipitation aux concurrents. L'année dernière, la société a dissoute son équipe de préparation à l'AGI, et plusieurs chercheurs en matière de sécurité et politique de l'IA sont partis pour les entreprises rivales. Le paysage concurrentiel s'est intensifié, avec le modèle R1 du laboratoire AI chinois Deepseek, qui est ouvertement disponible et correspond au modèle "raisonnement" O1 d'Openai sur des références clés, attirant l'attention mondiale. Le PDG d'Openai, Sam Altman, a reconnu que Deepseek a réduit l'exemple technologique d'Openai, ce qui a incité Openai à envisager d'accélérer son calendrier de libération. Avec OpenAI perdant des milliards par an et projeter des pertes de triple pour atteindre 14 milliards de dollars d'ici 2026, un cycle de libération de produit plus rapide pourrait augmenter les bénéfices à court terme, mais potentiellement compromettre la sécurité à long terme. Des experts comme Brundage se demandent si ce compromis en vaut la peine.

Article connexe

commentaires (30)