Maison
OpenAI intègre des outils open source destinés à la sécurité des adolescents dans ses projets de développement

Mardi, OpenAI a annoncé la publication d'une série de consignes destinées à aider les développeurs à rendre leurs applications plus sûres pour les adolescents. Le laboratoire d'IA a précisé que ces mesures de sécurité pour les adolescents sont compatibles avec son modèle de sécurité à paramètres ouverts, gpt-oss-safeguard.
Au lieu de repartir de zéro pour déterminer comment améliorer la sécurité de l'IA pour les adolescents, les développeurs peuvent utiliser ces consignes pour renforcer leurs applications. Elles traitent de préoccupations telles que la violence graphique et les contenus à caractère sexuel, les idéaux et comportements néfastes en matière d'image corporelle, les activités et défis à risque, les scénarios de jeux de rôle romantiques ou violents, ainsi que les produits et services soumis à une restriction d'âge.
Ces politiques de sécurité sont conçues sous forme de consignes, ce qui garantit leur compatibilité avec d'autres modèles que gpt-oss-safeguard, même si elles sont probablement plus efficaces au sein de l'écosystème d'OpenAI.
OpenAI a déclaré avoir collaboré avec les organisations de sécurité IA Common Sense Media et everyone.ai pour développer ces prompts.
« Ces politiques basées sur des prompts contribuent à établir une base de référence significative en matière de sécurité à travers l’écosystème. Comme elles sont open source, elles peuvent être adaptées et améliorées au fil du temps », a déclaré Robbie Torney, responsable des évaluations IA et numériques chez Common Sense Media, dans un communiqué.
Dans son blog, OpenAI a noté que les développeurs, y compris les équipes expérimentées, ont souvent du mal à traduire les objectifs de sécurité en règles opérationnelles précises.
« Cela peut entraîner des lacunes en matière de protection, une application incohérente ou un filtrage trop large », a expliqué l'entreprise. « Des politiques claires et bien définies constituent un fondement essentiel pour des systèmes de sécurité efficaces. »
OpenAI reconnaît que ces politiques ne constituent pas une solution complète aux défis complexes liés à la sécurité de l’IA. Elles s’appuient toutefois sur des efforts antérieurs, notamment des mesures de protection au niveau des produits telles que le contrôle parental et la prédiction de l’âge. L’année dernière, OpenAI a mis à jour ses directives relatives aux grands modèles linguistiques — connues sous le nom de « Model Spec » — afin de définir comment ses modèles d’IA doivent interagir avec les utilisateurs de moins de 18 ans.
OpenAI n'a toutefois pas un bilan irréprochable. L'entreprise fait face à de multiples poursuites judiciaires intentées par les familles de personnes décédées par suicide à la suite d'une utilisation excessive de ChatGPT. Ces relations néfastes se développent souvent après qu'un utilisateur a contourné les mesures de protection du chatbot, et aucune barrière de sécurité d'un modèle n'est totalement impénétrable. Néanmoins, ces nouvelles politiques constituent un pas en avant, notamment pour aider les développeurs indépendants.
Article connexe
OpenAI lance une version plus sûre de ChatGPT pour les adolescents, plusieurs années après qu’ils ont commencé à l’utiliser
À la suite d’une série de poursuites judiciaires liées à l’absence de protocoles de sécurité dans les chatbots basés sur l’IA — qui ont contribué à des suicides d’adolescents et à d’autres crises de s
Frontier AI Labs refuse de dévoiler ses stratégies de confinement des modèles indésirables
Des recherches récentes indiquent que très peu de grands laboratoires spécialisés dans l’IA ont publié ou présenté des plans d’intervention en cas de défaillance. Un plan d’intervention définit les pr
Le Tiffany Luck de NEA : les entreprises continuent de lutter pour justifier le retour sur investissement de l’IA
Chargement du lecteur…Plus tôt cette année, le « tokenmaxxing » a dominé la Silicon Valley, les PDG exhortant leurs employés à maximiser l’utilisation de l’IA. Cet enthousiasme a rapidement rencontré la réalité. Selon les informations rapportées, Ub
Recommandations de sujets spéciaux liés
commentaires (1)

Mardi, OpenAI a annoncé la publication d'une série de consignes destinées à aider les développeurs à rendre leurs applications plus sûres pour les adolescents. Le laboratoire d'IA a précisé que ces mesures de sécurité pour les adolescents sont compatibles avec son modèle de sécurité à paramètres ouverts, gpt-oss-safeguard.
Au lieu de repartir de zéro pour déterminer comment améliorer la sécurité de l'IA pour les adolescents, les développeurs peuvent utiliser ces consignes pour renforcer leurs applications. Elles traitent de préoccupations telles que la violence graphique et les contenus à caractère sexuel, les idéaux et comportements néfastes en matière d'image corporelle, les activités et défis à risque, les scénarios de jeux de rôle romantiques ou violents, ainsi que les produits et services soumis à une restriction d'âge.
Ces politiques de sécurité sont conçues sous forme de consignes, ce qui garantit leur compatibilité avec d'autres modèles que gpt-oss-safeguard, même si elles sont probablement plus efficaces au sein de l'écosystème d'OpenAI.
OpenAI a déclaré avoir collaboré avec les organisations de sécurité IA Common Sense Media et everyone.ai pour développer ces prompts.
« Ces politiques basées sur des prompts contribuent à établir une base de référence significative en matière de sécurité à travers l’écosystème. Comme elles sont open source, elles peuvent être adaptées et améliorées au fil du temps », a déclaré Robbie Torney, responsable des évaluations IA et numériques chez Common Sense Media, dans un communiqué.
Dans son blog, OpenAI a noté que les développeurs, y compris les équipes expérimentées, ont souvent du mal à traduire les objectifs de sécurité en règles opérationnelles précises.
« Cela peut entraîner des lacunes en matière de protection, une application incohérente ou un filtrage trop large », a expliqué l'entreprise. « Des politiques claires et bien définies constituent un fondement essentiel pour des systèmes de sécurité efficaces. »
OpenAI reconnaît que ces politiques ne constituent pas une solution complète aux défis complexes liés à la sécurité de l’IA. Elles s’appuient toutefois sur des efforts antérieurs, notamment des mesures de protection au niveau des produits telles que le contrôle parental et la prédiction de l’âge. L’année dernière, OpenAI a mis à jour ses directives relatives aux grands modèles linguistiques — connues sous le nom de « Model Spec » — afin de définir comment ses modèles d’IA doivent interagir avec les utilisateurs de moins de 18 ans.
OpenAI n'a toutefois pas un bilan irréprochable. L'entreprise fait face à de multiples poursuites judiciaires intentées par les familles de personnes décédées par suicide à la suite d'une utilisation excessive de ChatGPT. Ces relations néfastes se développent souvent après qu'un utilisateur a contourné les mesures de protection du chatbot, et aucune barrière de sécurité d'un modèle n'est totalement impénétrable. Néanmoins, ces nouvelles politiques constituent un pas en avant, notamment pour aider les développeurs indépendants.
OpenAI lance une version plus sûre de ChatGPT pour les adolescents, plusieurs années après qu’ils ont commencé à l’utiliser
À la suite d’une série de poursuites judiciaires liées à l’absence de protocoles de sécurité dans les chatbots basés sur l’IA — qui ont contribué à des suicides d’adolescents et à d’autres crises de s
Frontier AI Labs refuse de dévoiler ses stratégies de confinement des modèles indésirables
Des recherches récentes indiquent que très peu de grands laboratoires spécialisés dans l’IA ont publié ou présenté des plans d’intervention en cas de défaillance. Un plan d’intervention définit les pr
Le Tiffany Luck de NEA : les entreprises continuent de lutter pour justifier le retour sur investissement de l’IA
Chargement du lecteur…Plus tôt cette année, le « tokenmaxxing » a dominé la Silicon Valley, les PDG exhortant leurs employés à maximiser l’utilisation de l’IA. Cet enthousiasme a rapidement rencontré la réalité. Selon les informations rapportées, Ub











