Maison
OpenAI intègre des outils open source destinés à la sécurité des adolescents dans ses projets de développement

Mardi, OpenAI a annoncé la publication d'une série de consignes destinées à aider les développeurs à rendre leurs applications plus sûres pour les adolescents. Le laboratoire d'IA a précisé que ces mesures de sécurité pour les adolescents sont compatibles avec son modèle de sécurité à paramètres ouverts, gpt-oss-safeguard.
Au lieu de repartir de zéro pour déterminer comment améliorer la sécurité de l'IA pour les adolescents, les développeurs peuvent utiliser ces consignes pour renforcer leurs applications. Elles traitent de préoccupations telles que la violence graphique et les contenus à caractère sexuel, les idéaux et comportements néfastes en matière d'image corporelle, les activités et défis à risque, les scénarios de jeux de rôle romantiques ou violents, ainsi que les produits et services soumis à une restriction d'âge.
Ces politiques de sécurité sont conçues sous forme de consignes, ce qui garantit leur compatibilité avec d'autres modèles que gpt-oss-safeguard, même si elles sont probablement plus efficaces au sein de l'écosystème d'OpenAI.
OpenAI a déclaré avoir collaboré avec les organisations de sécurité IA Common Sense Media et everyone.ai pour développer ces prompts.
« Ces politiques basées sur des prompts contribuent à établir une base de référence significative en matière de sécurité à travers l’écosystème. Comme elles sont open source, elles peuvent être adaptées et améliorées au fil du temps », a déclaré Robbie Torney, responsable des évaluations IA et numériques chez Common Sense Media, dans un communiqué.
Dans son blog, OpenAI a noté que les développeurs, y compris les équipes expérimentées, ont souvent du mal à traduire les objectifs de sécurité en règles opérationnelles précises.
« Cela peut entraîner des lacunes en matière de protection, une application incohérente ou un filtrage trop large », a expliqué l'entreprise. « Des politiques claires et bien définies constituent un fondement essentiel pour des systèmes de sécurité efficaces. »
OpenAI reconnaît que ces politiques ne constituent pas une solution complète aux défis complexes liés à la sécurité de l’IA. Elles s’appuient toutefois sur des efforts antérieurs, notamment des mesures de protection au niveau des produits telles que le contrôle parental et la prédiction de l’âge. L’année dernière, OpenAI a mis à jour ses directives relatives aux grands modèles linguistiques — connues sous le nom de « Model Spec » — afin de définir comment ses modèles d’IA doivent interagir avec les utilisateurs de moins de 18 ans.
OpenAI n'a toutefois pas un bilan irréprochable. L'entreprise fait face à de multiples poursuites judiciaires intentées par les familles de personnes décédées par suicide à la suite d'une utilisation excessive de ChatGPT. Ces relations néfastes se développent souvent après qu'un utilisateur a contourné les mesures de protection du chatbot, et aucune barrière de sécurité d'un modèle n'est totalement impénétrable. Néanmoins, ces nouvelles politiques constituent un pas en avant, notamment pour aider les développeurs indépendants.
Article connexe
Satya Nadella est prêt à tirer parti du nouvel accord avec OpenAI
Mercredi, un analyste de Wall Street a demandé directement au PDG de Microsoft, Satya Nadella, en quoi le nouveau partenariat avec OpenAI affecterait les résultats financiers de l’entreprise.Nadella a décrit ce nouvel accord comme une victoire pour
OpenAI présente les grandes lignes d'une économie de l'IA fondée sur des fonds de richesse publique, une taxe sur les robots et la semaine de quatre jours
Alors que les gouvernements peinent à gérer l’impact économique des machines superintelligentes, OpenAI a publié une série de propositions politiques décrivant comment la richesse et le travail pourra
Greg Brockman révèle comment Elon Musk a quitté OpenAI
Fin août 2017, les principaux dirigeants d’OpenAI — alors un petit laboratoire de recherche à but non lucratif — se sont réunis pour discuter de la manière dont ils allaient créer une entité à but luc
Recommandations de sujets spéciaux liés
commentaires (0)

Mardi, OpenAI a annoncé la publication d'une série de consignes destinées à aider les développeurs à rendre leurs applications plus sûres pour les adolescents. Le laboratoire d'IA a précisé que ces mesures de sécurité pour les adolescents sont compatibles avec son modèle de sécurité à paramètres ouverts, gpt-oss-safeguard.
Au lieu de repartir de zéro pour déterminer comment améliorer la sécurité de l'IA pour les adolescents, les développeurs peuvent utiliser ces consignes pour renforcer leurs applications. Elles traitent de préoccupations telles que la violence graphique et les contenus à caractère sexuel, les idéaux et comportements néfastes en matière d'image corporelle, les activités et défis à risque, les scénarios de jeux de rôle romantiques ou violents, ainsi que les produits et services soumis à une restriction d'âge.
Ces politiques de sécurité sont conçues sous forme de consignes, ce qui garantit leur compatibilité avec d'autres modèles que gpt-oss-safeguard, même si elles sont probablement plus efficaces au sein de l'écosystème d'OpenAI.
OpenAI a déclaré avoir collaboré avec les organisations de sécurité IA Common Sense Media et everyone.ai pour développer ces prompts.
« Ces politiques basées sur des prompts contribuent à établir une base de référence significative en matière de sécurité à travers l’écosystème. Comme elles sont open source, elles peuvent être adaptées et améliorées au fil du temps », a déclaré Robbie Torney, responsable des évaluations IA et numériques chez Common Sense Media, dans un communiqué.
Dans son blog, OpenAI a noté que les développeurs, y compris les équipes expérimentées, ont souvent du mal à traduire les objectifs de sécurité en règles opérationnelles précises.
« Cela peut entraîner des lacunes en matière de protection, une application incohérente ou un filtrage trop large », a expliqué l'entreprise. « Des politiques claires et bien définies constituent un fondement essentiel pour des systèmes de sécurité efficaces. »
OpenAI reconnaît que ces politiques ne constituent pas une solution complète aux défis complexes liés à la sécurité de l’IA. Elles s’appuient toutefois sur des efforts antérieurs, notamment des mesures de protection au niveau des produits telles que le contrôle parental et la prédiction de l’âge. L’année dernière, OpenAI a mis à jour ses directives relatives aux grands modèles linguistiques — connues sous le nom de « Model Spec » — afin de définir comment ses modèles d’IA doivent interagir avec les utilisateurs de moins de 18 ans.
OpenAI n'a toutefois pas un bilan irréprochable. L'entreprise fait face à de multiples poursuites judiciaires intentées par les familles de personnes décédées par suicide à la suite d'une utilisation excessive de ChatGPT. Ces relations néfastes se développent souvent après qu'un utilisateur a contourné les mesures de protection du chatbot, et aucune barrière de sécurité d'un modèle n'est totalement impénétrable. Néanmoins, ces nouvelles politiques constituent un pas en avant, notamment pour aider les développeurs indépendants.
Satya Nadella est prêt à tirer parti du nouvel accord avec OpenAI
Mercredi, un analyste de Wall Street a demandé directement au PDG de Microsoft, Satya Nadella, en quoi le nouveau partenariat avec OpenAI affecterait les résultats financiers de l’entreprise.Nadella a décrit ce nouvel accord comme une victoire pour
OpenAI présente les grandes lignes d'une économie de l'IA fondée sur des fonds de richesse publique, une taxe sur les robots et la semaine de quatre jours
Alors que les gouvernements peinent à gérer l’impact économique des machines superintelligentes, OpenAI a publié une série de propositions politiques décrivant comment la richesse et le travail pourra
Greg Brockman révèle comment Elon Musk a quitté OpenAI
Fin août 2017, les principaux dirigeants d’OpenAI — alors un petit laboratoire de recherche à but non lucratif — se sont réunis pour discuter de la manière dont ils allaient créer une entité à but luc











