Lar
A OpenAI integra ferramentas de código aberto para a segurança de adolescentes em seus projetos de desenvolvimento

Na terça-feira, a OpenAI anunciou o lançamento de um conjunto de diretrizes destinadas a ajudar os desenvolvedores a tornar seus aplicativos mais seguros para adolescentes. O laboratório de IA afirmou que essas políticas de segurança para adolescentes são compatíveis com seu modelo de segurança de código aberto, o gpt-oss-safeguard.
Em vez de começar do zero para determinar como melhorar a segurança da IA para adolescentes, os desenvolvedores podem usar essas orientações para fortalecer seus aplicativos. Elas abordam questões como violência gráfica e conteúdo sexual, ideais e comportamentos prejudiciais relacionados à imagem corporal, atividades e desafios de risco, cenários de dramatização românticos ou violentos, e produtos e serviços com restrição de idade.
Essas políticas de segurança são elaboradas como prompts, garantindo que funcionem facilmente com modelos diferentes do gpt-oss-safeguard, embora provavelmente sejam mais eficazes dentro do próprio ecossistema da OpenAI.
A OpenAI declarou que colaborou com as organizações de segurança em IA Common Sense Media e everyone.ai para desenvolver essas instruções.
“Essas políticas baseadas em prompts ajudam a estabelecer uma base de segurança significativa em todo o ecossistema. Por serem de código aberto, elas podem ser adaptadas e aprimoradas ao longo do tempo”, disse Robbie Torney, chefe de IA e Avaliações Digitais da Common Sense Media, em um comunicado.
Em seu blog, a OpenAI observou que desenvolvedores, incluindo equipes experientes, frequentemente têm dificuldade em traduzir objetivos de segurança em regras operacionais precisas.
“Isso pode resultar em lacunas de proteção, aplicação inconsistente ou filtragem excessivamente ampla”, explicou a empresa. “Políticas claras e bem definidas são uma base essencial para sistemas de segurança eficazes.”
A OpenAI reconhece que essas políticas não são uma solução completa para os complexos desafios da segurança da IA. No entanto, elas se baseiam em esforços anteriores, incluindo medidas de proteção no nível do produto, como controles parentais e previsão de idade. No ano passado, a OpenAI atualizou suas diretrizes para grandes modelos de linguagem — conhecidas como Model Spec — para abordar como seus modelos de IA devem interagir com usuários menores de 18 anos.
A própria OpenAI, no entanto, não tem um histórico impecável. A empresa enfrenta vários processos judiciais movidos por famílias de pessoas que morreram por suicídio após o uso extremo do ChatGPT. Essas relações prejudiciais geralmente se desenvolvem depois que um usuário contorna as salvaguardas do chatbot, e nenhuma barreira de proteção de modelo é completamente impenetrável. No entanto, essas novas políticas representam um passo à frente, especialmente no apoio a desenvolvedores independentes.
Artigo relacionado
Satya Nadella está pronto para aproveitar o novo acordo com a OpenAI
Na quarta-feira, um analista da Wall Street perguntou diretamente ao CEO da Microsoft, Satya Nadella, como a nova parceria com a OpenAI afetaria os resultados financeiros da empresa.Nadella descreveu o novo acordo como uma vitória para todos. “Estam
A OpenAI traça os contornos da economia da IA com fundos de riqueza pública, impostos sobre robôs e a semana de quatro dias
Enquanto os governos lutam para lidar com o impacto econômico das máquinas superinteligentes, a OpenAI divulgou um conjunto de propostas de políticas que delineiam como a riqueza e o trabalho poderiam
Greg Brockman revela como Elon Musk deixou a OpenAI
No final de agosto de 2017, figuras-chave da OpenAI — na época, um pequeno laboratório de pesquisa sem fins lucrativos — se reuniram para discutir como criariam uma entidade com fins lucrativos para c
Recomendações de tópicos especiais relacionados
Comentários (0)

Na terça-feira, a OpenAI anunciou o lançamento de um conjunto de diretrizes destinadas a ajudar os desenvolvedores a tornar seus aplicativos mais seguros para adolescentes. O laboratório de IA afirmou que essas políticas de segurança para adolescentes são compatíveis com seu modelo de segurança de código aberto, o gpt-oss-safeguard.
Em vez de começar do zero para determinar como melhorar a segurança da IA para adolescentes, os desenvolvedores podem usar essas orientações para fortalecer seus aplicativos. Elas abordam questões como violência gráfica e conteúdo sexual, ideais e comportamentos prejudiciais relacionados à imagem corporal, atividades e desafios de risco, cenários de dramatização românticos ou violentos, e produtos e serviços com restrição de idade.
Essas políticas de segurança são elaboradas como prompts, garantindo que funcionem facilmente com modelos diferentes do gpt-oss-safeguard, embora provavelmente sejam mais eficazes dentro do próprio ecossistema da OpenAI.
A OpenAI declarou que colaborou com as organizações de segurança em IA Common Sense Media e everyone.ai para desenvolver essas instruções.
“Essas políticas baseadas em prompts ajudam a estabelecer uma base de segurança significativa em todo o ecossistema. Por serem de código aberto, elas podem ser adaptadas e aprimoradas ao longo do tempo”, disse Robbie Torney, chefe de IA e Avaliações Digitais da Common Sense Media, em um comunicado.
Em seu blog, a OpenAI observou que desenvolvedores, incluindo equipes experientes, frequentemente têm dificuldade em traduzir objetivos de segurança em regras operacionais precisas.
“Isso pode resultar em lacunas de proteção, aplicação inconsistente ou filtragem excessivamente ampla”, explicou a empresa. “Políticas claras e bem definidas são uma base essencial para sistemas de segurança eficazes.”
A OpenAI reconhece que essas políticas não são uma solução completa para os complexos desafios da segurança da IA. No entanto, elas se baseiam em esforços anteriores, incluindo medidas de proteção no nível do produto, como controles parentais e previsão de idade. No ano passado, a OpenAI atualizou suas diretrizes para grandes modelos de linguagem — conhecidas como Model Spec — para abordar como seus modelos de IA devem interagir com usuários menores de 18 anos.
A própria OpenAI, no entanto, não tem um histórico impecável. A empresa enfrenta vários processos judiciais movidos por famílias de pessoas que morreram por suicídio após o uso extremo do ChatGPT. Essas relações prejudiciais geralmente se desenvolvem depois que um usuário contorna as salvaguardas do chatbot, e nenhuma barreira de proteção de modelo é completamente impenetrável. No entanto, essas novas políticas representam um passo à frente, especialmente no apoio a desenvolvedores independentes.
Satya Nadella está pronto para aproveitar o novo acordo com a OpenAI
Na quarta-feira, um analista da Wall Street perguntou diretamente ao CEO da Microsoft, Satya Nadella, como a nova parceria com a OpenAI afetaria os resultados financeiros da empresa.Nadella descreveu o novo acordo como uma vitória para todos. “Estam
A OpenAI traça os contornos da economia da IA com fundos de riqueza pública, impostos sobre robôs e a semana de quatro dias
Enquanto os governos lutam para lidar com o impacto econômico das máquinas superinteligentes, a OpenAI divulgou um conjunto de propostas de políticas que delineiam como a riqueza e o trabalho poderiam
Greg Brockman revela como Elon Musk deixou a OpenAI
No final de agosto de 2017, figuras-chave da OpenAI — na época, um pequeno laboratório de pesquisa sem fins lucrativos — se reuniram para discutir como criariam uma entidade com fins lucrativos para c











