Le groupe de Fei-Fei Li exhorte une législation sur la sécurité préemptive de l'IA

Un nouveau rapport d'un groupe de politique californien, co-dirigé par la pionnière de l'IA Fei-Fei Li, suggère que les législateurs devraient prendre en compte les risques de l'IA qui n'ont pas encore été observés dans le monde réel lors de la création de politiques réglementaires sur l'IA. Ce rapport intérimaire de 41 pages, publié mardi, provient du Joint California Policy Working Group on AI Frontier Models, créé par le gouverneur Gavin Newsom après qu'il a opposé son veto au projet de loi controversé sur la sécurité de l'IA en Californie, SB 1047. Newsom estimait que SB 1047 n'était pas tout à fait à la hauteur, mais il a reconnu la nécessité d'examiner plus en profondeur les risques de l'IA pour guider les législateurs.

Dans le rapport, Li, avec les co-auteurs Jennifer Chayes, doyenne du Collège de l'informatique de l'UC Berkeley, et Mariano-Florentino Cuéllar, président de la Carnegie Endowment for International Peace, plaident pour des lois qui rendraient plus claires les activités des laboratoires d'IA de pointe comme OpenAI. Avant sa publication, le rapport a été examiné par des acteurs de l'industrie de divers horizons, y compris des partisans fervents de la sécurité de l'IA comme le lauréat du prix Turing Yoshua Bengio et ceux qui s'opposaient à SB 1047, comme le co-fondateur de Databricks, Ion Stoica.

Le rapport souligne que les nouveaux risques des systèmes d'IA pourraient nécessiter des lois obligeant les développeurs de modèles d'IA à partager leurs tests de sécurité, leurs méthodes d'acquisition de données et leurs mesures de sécurité avec le public. Il appelle également à de meilleures normes pour les vérifications par des tiers de ces éléments et des politiques des entreprises, ainsi qu'à davantage de protections pour les employés et contractants des entreprises d'IA qui dénoncent des abus.

Li et ses co-auteurs mentionnent qu'il n'y a pas encore suffisamment de preuves sur le potentiel de l'IA à faciliter les cyberattaques, à fabriquer des armes biologiques ou à causer d'autres dangers « extrêmes ». Mais ils affirment également que la politique de l'IA ne devrait pas seulement s'occuper de ce qui se passe maintenant ; elle devrait aussi envisager ce qui pourrait arriver à l'avenir si des mesures de sécurité suffisantes ne sont pas en place.

Le rapport utilise l'exemple d'une arme nucléaire, en disant : « Nous n'avons pas besoin de voir une arme nucléaire exploser pour savoir qu'elle pourrait causer beaucoup de dégâts. » Il ajoute : « Si ceux qui parlent des pires risques ont raison — et nous ne sommes pas sûrs qu'ils le seront — alors ne rien faire concernant l'IA de pointe maintenant pourrait être très coûteux. »

Pour rendre le développement des modèles d'IA plus transparent, le rapport propose une approche de « confiance mais vérification ». Il indique que les développeurs de modèles d'IA et leurs employés devraient avoir des moyens de rendre compte des éléments importants pour le public, comme les tests de sécurité internes, et devraient également faire vérifier leurs affirmations de tests par des tiers.

Bien que le rapport, qui sera finalisé en juin 2025, ne soutienne aucune loi spécifique, il a été bien accueilli par les experts des deux côtés du débat sur la politique de l'IA.

Dean Ball, chercheur spécialisé en IA à l'Université George Mason et opposant à SB 1047, a déclaré sur X que le rapport est une avancée positive pour les règles de sécurité de l'IA en Californie. C'est également une victoire pour les défenseurs de la sécurité de l'IA, selon le sénateur de l'État de Californie Scott Wiener, qui a présenté SB 1047 l'année dernière. Wiener a déclaré dans un communiqué de presse que le rapport contribue aux « discussions urgentes sur la gouvernance de l'IA que nous avons entamées au sein de la législature en 2024. »

Le rapport semble en accord avec certaines parties de SB 1047 et du prochain projet de loi de Wiener, SB 53, comme l'obligation pour les développeurs de modèles d'IA de rendre compte des résultats de leurs tests de sécurité. Dans une perspective plus large, il apparaît comme une victoire très nécessaire pour les défenseurs de la sécurité de l'IA, dont les idées ont perdu du terrain au cours de l'année passée.