Maison
L’engagement de sécurité d’OpenAI est mis à l’épreuve : réglementation ou surveillance ?

Suite à la tuerie de Tumbler Ridge qui a choqué le Canada, OpenAI a rapidement mis en œuvre une série de mesures compensatoires. Cependant, les experts juridiques et techniques restent sceptiques. L’universitaire Jean-Christophe Bélisle-Pipon a souligné que les engagements de Sam Altman, PDG d’OpenAI, en matière de sécurité pris auprès du gouvernement canadien substituent essentiellement la surveillance démocratique par une supervision corporatiste.
Des mois avant l’incident, le compte ChatGPT de Jesse van Ruttenaar, le jeune tireur de 18 ans, avait été signalé pour avoir posté des contenus liés à la violence armée. Bien que ce compte ait été suspendu, OpenAI n’a pas informé les autorités de cette potentielle menace. La tragédie a finalement coûté huit vies.
Nouvelles mesures d’OpenAI : Création d’une “ligne directe” entre la police et l’entreprise
En réponse, OpenAI s’est engagée à prendre les followinges actions :
Signalement immédiat : Informer sans délai la Royal Canadian Mounted Police des menaces crédibles.
Révision rétrospective : Revoir de près les comptes précédemment signalés comme préoccupants.
Implication d’experts : Permettre à des experts canadiens de participer aux processus consultatifs sur la sécurité et d’aider le gouvernement à formuler des recommandations réglementaires.
Les inquiétudes des experts : Le piège de la “substitution de la surveillance”
Dans son analyse, le professeur Bélisle-Pipon a souligné un point critique : OpenAI évite de se soumettre à un examen approfondi de la conception de son modèle principal et des méthodes d’entraînement, préférant intensifier la surveillance des conversations des utilisateurs.
Manque de responsabilité : Les critères de signalement sont toujours déterminés internement par OpenAI, ce qui manque de transparence et d’audit indépendant.
Effet glaçant : La recherche montre que les utilisateurs confient souvent leurs secrets aux chatbots en raison de la sensation de confidentialité qu’ils leur procurent. Si ces conversations deviennent un canal direct pour la surveillance policière, les personnes vulnérables en crise psychologique pourraient choisir le silence, manquant ainsi des opportunités essentielles d’intervention.
Prise en charge réglementaire : Cette “concession volontaire” pourrait être une tentative de prévenir et diluer des réglementations juridiques plus strictes.
La véritable voie vers la gouvernance : Déplacer l’attention des utilisateurs vers les systèmes
Les critiques affirment que toute régulation réelle de l’intelligence artificielle doit aller au-delà de la surveillance du discours et examiner les systèmes eux-mêmes. Par exemple :
Organes de surveillance indépendants : Créer des entités tierces composées d’experts en santé mentale et en droit pour évaluer les risques, plutôt que de laisser les décisions exclusivement à l’entreprise.
Responsabilité au niveau du modèle : Examiner comment les modèles d’intelligence artificielle réagissent aux signalements d’intentions violentes et quelles tests de sécurité ont été menés pendant leur développement.
Alors qu’OpenAI poursuit activement des partenariats avec des gouvernements à travers le monde, l’incident de Tumbler Ridge devient un cas d’étude : allons-nous vers des technologies plus sûres, ou vers un réseau de surveillance numérique géré par des entreprises privées ?
Article connexe
Claude a été utilisé pour créer des paquets npm malveillants : plus de 670 paquets compromis menacent l'open source
Un incident de cybersécurité récent met en lumière la manière dont les grands modèles linguistiques (LLM) sont détournés pour développer des logiciels malveillants. Le chercheur en sécurité Sibi Moosa
Reliance dévoile un plan d'investissement de 110 milliards de dollars dans l'IA alors que l'Inde accélère sa transition technologique
Mukesh Ambani, le président milliardaire du conglomérat indien Reliance, a annoncé jeudi un plan de 10 000 milliards de roupies (environ 110 milliards de dollars) visant à mettre en place une infrastr
Zhiyuan WITA met fin à son projet d'interaction avec des robots « nus » en déposant sa première demande d'agrément
Le secteur de l'intelligence incarnée a franchi une étape importante. Selon la dernière annonce de l'Administration du cyberespace de Shanghai, le grand modèle WITA développé par Zhiyuan a mené à bien
Recommandations de sujets spéciaux liés
commentaires (0)

Suite à la tuerie de Tumbler Ridge qui a choqué le Canada, OpenAI a rapidement mis en œuvre une série de mesures compensatoires. Cependant, les experts juridiques et techniques restent sceptiques. L’universitaire Jean-Christophe Bélisle-Pipon a souligné que les engagements de Sam Altman, PDG d’OpenAI, en matière de sécurité pris auprès du gouvernement canadien substituent essentiellement la surveillance démocratique par une supervision corporatiste.
Des mois avant l’incident, le compte ChatGPT de Jesse van Ruttenaar, le jeune tireur de 18 ans, avait été signalé pour avoir posté des contenus liés à la violence armée. Bien que ce compte ait été suspendu, OpenAI n’a pas informé les autorités de cette potentielle menace. La tragédie a finalement coûté huit vies.
Nouvelles mesures d’OpenAI : Création d’une “ligne directe” entre la police et l’entreprise
En réponse, OpenAI s’est engagée à prendre les followinges actions :
Signalement immédiat : Informer sans délai la Royal Canadian Mounted Police des menaces crédibles.
Révision rétrospective : Revoir de près les comptes précédemment signalés comme préoccupants.
Implication d’experts : Permettre à des experts canadiens de participer aux processus consultatifs sur la sécurité et d’aider le gouvernement à formuler des recommandations réglementaires.
Les inquiétudes des experts : Le piège de la “substitution de la surveillance”
Dans son analyse, le professeur Bélisle-Pipon a souligné un point critique : OpenAI évite de se soumettre à un examen approfondi de la conception de son modèle principal et des méthodes d’entraînement, préférant intensifier la surveillance des conversations des utilisateurs.
Manque de responsabilité : Les critères de signalement sont toujours déterminés internement par OpenAI, ce qui manque de transparence et d’audit indépendant.
Effet glaçant : La recherche montre que les utilisateurs confient souvent leurs secrets aux chatbots en raison de la sensation de confidentialité qu’ils leur procurent. Si ces conversations deviennent un canal direct pour la surveillance policière, les personnes vulnérables en crise psychologique pourraient choisir le silence, manquant ainsi des opportunités essentielles d’intervention.
Prise en charge réglementaire : Cette “concession volontaire” pourrait être une tentative de prévenir et diluer des réglementations juridiques plus strictes.
La véritable voie vers la gouvernance : Déplacer l’attention des utilisateurs vers les systèmes
Les critiques affirment que toute régulation réelle de l’intelligence artificielle doit aller au-delà de la surveillance du discours et examiner les systèmes eux-mêmes. Par exemple :
Organes de surveillance indépendants : Créer des entités tierces composées d’experts en santé mentale et en droit pour évaluer les risques, plutôt que de laisser les décisions exclusivement à l’entreprise.
Responsabilité au niveau du modèle : Examiner comment les modèles d’intelligence artificielle réagissent aux signalements d’intentions violentes et quelles tests de sécurité ont été menés pendant leur développement.
Alors qu’OpenAI poursuit activement des partenariats avec des gouvernements à travers le monde, l’incident de Tumbler Ridge devient un cas d’étude : allons-nous vers des technologies plus sûres, ou vers un réseau de surveillance numérique géré par des entreprises privées ?
Claude a été utilisé pour créer des paquets npm malveillants : plus de 670 paquets compromis menacent l'open source
Un incident de cybersécurité récent met en lumière la manière dont les grands modèles linguistiques (LLM) sont détournés pour développer des logiciels malveillants. Le chercheur en sécurité Sibi Moosa
Reliance dévoile un plan d'investissement de 110 milliards de dollars dans l'IA alors que l'Inde accélère sa transition technologique
Mukesh Ambani, le président milliardaire du conglomérat indien Reliance, a annoncé jeudi un plan de 10 000 milliards de roupies (environ 110 milliards de dollars) visant à mettre en place une infrastr
Zhiyuan WITA met fin à son projet d'interaction avec des robots « nus » en déposant sa première demande d'agrément
Le secteur de l'intelligence incarnée a franchi une étape importante. Selon la dernière annonce de l'Administration du cyberespace de Shanghai, le grand modèle WITA développé par Zhiyuan a mené à bien











