Maison
OpenAI confirme l’incident lié au wiki et indique qu’elle travaille sur un cadre pour une divulgation plus étendue

OpenAI a confirmé son implication dans un incident récent où des agents d’IA ont pris le contrôle d’un forum wiki allemand. L’entreprise a déclaré qu’il était « temps » de « définir des normes » pour le partage d’informations concernant les comportements inattendus des IA.
Dans un message publié sur X, OpenAI a expliqué qu’elle avait précédemment « traité le désalignement [lorsque les modèles et agents d’IA poursuivent des objectifs différents de ceux de leurs créateurs et utilisateurs] principalement comme une question de recherche, communiquée dans des publications scientifiques. » Cependant, étant donné que le désalignement a « provoqué de nouveaux types d’impacts réels », l’entreprise a indiqué que son approche devait « s’étendre pour cette nouvelle phase de capacités des modèles. »
Vendredi, Reuters a rapporté que des agents d’OpenAI s’étaient échappés de leur environnement de test et avaient « détourné » un forum wiki allemand peu connu, le transformant en panneau d’affichage pour d’autres agents. Le journal a également signalé que la direction d’OpenAI avait pris connaissance de l’incident plusieurs semaines plus tôt, mais l’avait maintenu secret pendant que l’entreprise gérait les conséquences d’un incident distinct au cours duquel des agents d’OpenAI avaient piraté les serveurs de Hugging Face. (Le procureur général de Californie, Rob Bonta, enquêterait sur ce piratage.)
Un porte-parole de l’entreprise a déclaré à Reuters qu’OpenAI ne pouvait pas « répondre de manière significative aux allégations ou conclusions d’un rapport qu’elle n’a pas eu l’occasion d’examiner », mais il a insisté sur le fait que l’équipe juridique de l’entreprise n’avait pas découragé une enquête.
Dans un message plus récent sur les réseaux sociaux, OpenAI a indiqué avoir considéré l’« incident wiki » comme « un cas de désalignement similaire » à ceux qu’elle avait déjà partagés. L’entreprise a contrasté cela avec « l’incident Hugging Face », au cours duquel elle a « suivi un plan d’intervention traditionnel pour les incidents de sécurité. »
Lors d’une conférence de presse cette semaine, Jacob Steinhardt, fondateur et PDG du laboratoire de recherche à but non lucratif Transluce, a déclaré aux journalistes que les outils développés et testés par les laboratoires d’IA sont « fondamentalement difficiles à contrôler et présentent un risque significatif de fuite hors du laboratoire. » Ainsi, Steinhardt a soutenu : « Nous devons soumettre cette technologie aux mêmes normes que nous appliquons à d’autres recherches scientifiques à haut risque. »
La déclaration d’OpenAI a également souligné la nécessité de davantage de normes, indiquant qu’« OpenAI et la communauté IA au sens large n’ont pas encore de norme claire sur la manière de signaler les désalignements qui se produisent lors de l’entraînement, de l’évaluation et du déploiement, y compris des exemples qui ne ressemblent pas à des incidents de sécurité traditionnels mais qui pourraient fournir des informations sur le comportement des IA et les risques futurs. »
En l’absence de cette norme, OpenAI a déclaré qu’elle « travaille sur un cadre et le partagera dans les semaines à venir, et parallèlement, elle collabore avec des dizaines d’agences gouvernementales de réglementation du monde entier sur ces questions. »
OpenAI n’est pas la seule entreprise d’IA à faire face à ces problèmes, car Meta et Anthropic ont tous deux reconnu des incidents où leurs agents se sont mal comportés.
Article connexe
OpenAI confirme l’incident lié au wiki et indique qu’elle travaille sur un cadre pour une divulgation plus étendue
OpenAI a confirmé son implication dans un incident récent où des agents d’IA ont pris le contrôle d’un forum wiki allemand. L’entreprise a déclaré qu’il était « temps » de « définir des normes » pour le partage d’informations concernant les comportem
Anthropic compte désormais plus de clients professionnels qu’OpenAI, selon les données de Ramp
Anthropic a dépassé OpenAI en nombre de clients commerciaux vérifiés pour la première fois, selon l’indice IA du mois issu de l’entreprise fintech Ramp.Les données issues des dépenses clients de Ramp révèlent que 34,4 % des entreprises participantes
OpenAI fait l'objet d'une enquête menée par les procureurs généraux des États
Un groupe de procureurs généraux d'État aurait ouvert une enquête sur OpenAI.Selon le Wall Street Journal, l’entreprise a reçu vendredi une assignation à comparaître de la part du procureur général de
Recommandations de sujets spéciaux liés
commentaires (0)

OpenAI a confirmé son implication dans un incident récent où des agents d’IA ont pris le contrôle d’un forum wiki allemand. L’entreprise a déclaré qu’il était « temps » de « définir des normes » pour le partage d’informations concernant les comportements inattendus des IA.
Dans un message publié sur X, OpenAI a expliqué qu’elle avait précédemment « traité le désalignement [lorsque les modèles et agents d’IA poursuivent des objectifs différents de ceux de leurs créateurs et utilisateurs] principalement comme une question de recherche, communiquée dans des publications scientifiques. » Cependant, étant donné que le désalignement a « provoqué de nouveaux types d’impacts réels », l’entreprise a indiqué que son approche devait « s’étendre pour cette nouvelle phase de capacités des modèles. »
Vendredi, Reuters a rapporté que des agents d’OpenAI s’étaient échappés de leur environnement de test et avaient « détourné » un forum wiki allemand peu connu, le transformant en panneau d’affichage pour d’autres agents. Le journal a également signalé que la direction d’OpenAI avait pris connaissance de l’incident plusieurs semaines plus tôt, mais l’avait maintenu secret pendant que l’entreprise gérait les conséquences d’un incident distinct au cours duquel des agents d’OpenAI avaient piraté les serveurs de Hugging Face. (Le procureur général de Californie, Rob Bonta, enquêterait sur ce piratage.)
Un porte-parole de l’entreprise a déclaré à Reuters qu’OpenAI ne pouvait pas « répondre de manière significative aux allégations ou conclusions d’un rapport qu’elle n’a pas eu l’occasion d’examiner », mais il a insisté sur le fait que l’équipe juridique de l’entreprise n’avait pas découragé une enquête.
Dans un message plus récent sur les réseaux sociaux, OpenAI a indiqué avoir considéré l’« incident wiki » comme « un cas de désalignement similaire » à ceux qu’elle avait déjà partagés. L’entreprise a contrasté cela avec « l’incident Hugging Face », au cours duquel elle a « suivi un plan d’intervention traditionnel pour les incidents de sécurité. »
Lors d’une conférence de presse cette semaine, Jacob Steinhardt, fondateur et PDG du laboratoire de recherche à but non lucratif Transluce, a déclaré aux journalistes que les outils développés et testés par les laboratoires d’IA sont « fondamentalement difficiles à contrôler et présentent un risque significatif de fuite hors du laboratoire. » Ainsi, Steinhardt a soutenu : « Nous devons soumettre cette technologie aux mêmes normes que nous appliquons à d’autres recherches scientifiques à haut risque. »
La déclaration d’OpenAI a également souligné la nécessité de davantage de normes, indiquant qu’« OpenAI et la communauté IA au sens large n’ont pas encore de norme claire sur la manière de signaler les désalignements qui se produisent lors de l’entraînement, de l’évaluation et du déploiement, y compris des exemples qui ne ressemblent pas à des incidents de sécurité traditionnels mais qui pourraient fournir des informations sur le comportement des IA et les risques futurs. »
En l’absence de cette norme, OpenAI a déclaré qu’elle « travaille sur un cadre et le partagera dans les semaines à venir, et parallèlement, elle collabore avec des dizaines d’agences gouvernementales de réglementation du monde entier sur ces questions. »
OpenAI n’est pas la seule entreprise d’IA à faire face à ces problèmes, car Meta et Anthropic ont tous deux reconnu des incidents où leurs agents se sont mal comportés.
OpenAI confirme l’incident lié au wiki et indique qu’elle travaille sur un cadre pour une divulgation plus étendue
OpenAI a confirmé son implication dans un incident récent où des agents d’IA ont pris le contrôle d’un forum wiki allemand. L’entreprise a déclaré qu’il était « temps » de « définir des normes » pour le partage d’informations concernant les comportem
Anthropic compte désormais plus de clients professionnels qu’OpenAI, selon les données de Ramp
Anthropic a dépassé OpenAI en nombre de clients commerciaux vérifiés pour la première fois, selon l’indice IA du mois issu de l’entreprise fintech Ramp.Les données issues des dépenses clients de Ramp révèlent que 34,4 % des entreprises participantes
OpenAI fait l'objet d'une enquête menée par les procureurs généraux des États
Un groupe de procureurs généraux d'État aurait ouvert une enquête sur OpenAI.Selon le Wall Street Journal, l’entreprise a reçu vendredi une assignation à comparaître de la part du procureur général de











