Le papier de sécurité AGI de DeepMind ne influence pas les sceptiques

# deepmind # agi

Mercredi, Google Deepmind a laissé tomber un lourd papier de 145 pages plongeant profondément dans leur approche de la sécurité AGI. AGI, ou intelligence générale artificielle, est le type d'IA qui peut s'attaquer à n'importe quelle tâche qu'un humain peut, et c'est un sujet brûlant dans le monde de l'IA. Certaines personnes pensent que c'est juste un fantasme, tandis que d'autres, comme les gros coups d'Anthropic, croient que c'est juste dans le virage et pourrait causer de sérieux problèmes si nous n'obtenons pas nos mesures de sécurité. Le journal de Deepmind, écrit avec l'aide du co-fondateur Shane Legg, estime qu'Agi pourrait se présenter d'ici 2030 et pourrait conduire à ce qu'ils appellent "de graves préjudices". Ils ne l'expliquent pas exactement, mais ils jettent des phrases effrayantes comme des "risques existentiels" qui pourraient "détruire en permanence l'humanité". "Nous parions pour voir un AGI exceptionnel avant que cette décennie ne soit sortie", notent les auteurs. "Un AGI exceptionnel est un système qui peut correspondre aux compétences des 1% supérieurs des adultes sur un tas de tâches non physiques, y compris des trucs délicats comme apprendre de nouvelles compétences." Dès le début, le document compare la façon dont Deepmind de gérer le risque AGI avec la façon dont Anthropic et Openai le font. Il dit que Anthropic n'est pas aussi important sur "une formation, une surveillance et une sécurité robustes", tandis que OpenAI est en train de "automatiser" un type de recherche sur la sécurité de l'IA appelée recherche d'alignement. Le journal jette également une certaine teinte sur l'idée d'une IA superintelligente - IA qui est meilleure dans les emplois que n'importe quel humain. (Openai a récemment déclaré qu'ils se concentrent de l'AGI à la superintelligence.) Sans de nouvelles percées majeures, les auteurs de Deepmind n'achètent pas que les systèmes superintelligents arrivent de sitôt - ou peut-être jamais. Mais ils pensent qu'il est possible que nos méthodes actuelles puissent conduire à une «amélioration récursive de l'IA», où l'IA fait sa propre recherche sur l'IA pour faire des systèmes d'IA encore plus intelligents. Et cela, prévient-ils, pourrait être super dangereux. Dans l'ensemble, le document suggère que nous devons développer des moyens pour éloigner les mauvais acteurs d'AGI, mieux comprendre ce que font les systèmes d'IA et rendre les environnements où l'IA fonctionne plus sécurisée. Ils admettent que beaucoup de ces idées sont encore à leurs débuts et ont des «problèmes de recherche ouverts», mais ils nous exhortent à ne pas ignorer les problèmes de sécurité qui pourraient nous arriver. "AGI pourrait apporter des avantages incroyables ou des préjudices sérieux", soulignent les auteurs. "Donc, pour construire AGI de la bonne façon, il est crucial pour les meilleurs développeurs de l'IA de planifier à l'avance et de lutter contre ces grands risques." Mais tout le monde n'est pas à bord avec les idées du journal. Heidy Khlaaf, la scientifique en chef de l'IA de l'Institut à but non lucratif AI Now, a déclaré à TechCrunch qu'elle pensait qu'Agi était un concept trop flou pour être "rigoureusement évalué scientifiquement". Un autre chercheur de l'IA, Matthew Guzdial de l'Université de l'Alberta, a déclaré qu'il n'était pas convaincu que l'amélioration récursive de l'IA était réalisable pour le moment. "L'amélioration récursive est ce sur quoi les arguments de la singularité de l'intelligence sont basés", a déclaré Guzdial à TechCrunch, "mais nous n'avons jamais vu de preuve que cela fonctionne réellement." Sandra Wachter, qui étudie la technologie et la réglementation à Oxford, souligne une inquiétude plus urgente: l'IA se renforçant avec des "sorties inexactes". "Avec de plus en plus de contenu généré par l'IA en ligne et des données réelles sont remplacées, les modèles apprennent de leurs propres sorties qui sont pleines d'inexactitudes ou d'hallucinations", a-t-elle déclaré à TechCrunch. "Étant donné que les chatbots sont principalement utilisés pour rechercher et trouver la vérité, nous risquons toujours d'être nourris de fausses informations qui sont présentées de manière très convaincante." Aussi approfondi soit-il, le document de Deepmind ne metra probablement pas fin aux débats sur la probabilité que Agi est vraiment - et quels problèmes de sécurité de l'IA nécessitent le plus d'attention en ce moment.

Article connexe

commentaires (45)