Anthropic implanta nuevas salvaguardias para la IA ante el aumento de los riesgos

Anthropic ha actualizado la política de uso de su chatbot de inteligencia artificial Claude para responder a las crecientes preocupaciones en materia de seguridad. Además de unas normas de ciberseguridad más estrictas, la empresa describe ahora explícitamente las categorías de armas peligrosas que no deben desarrollarse con Claude.
Aunque el anuncio oficial no destaca explícitamente los cambios en su política de armas, una comparación entre las antiguas y las nuevas directrices de uso revela una actualización significativa. Anteriormente, Anthropic prohibía en términos generales el uso de Claude para "producir, modificar, diseñar, comercializar o distribuir armas, explosivos, materiales peligrosos u otros sistemas diseñados para causar daños o la pérdida de vidas humanas". La política revisada amplía esta prohibición al prohibir específicamente el desarrollo de explosivos de alto rendimiento, así como de armas biológicas, nucleares, químicas y radiológicas (QBRN).
En mayo, Anthropic introdujo las protecciones del "Nivel de seguridad 3 de AI", coincidiendo con el lanzamiento de su nuevo modelo Claude Opus 4. El objetivo de estas protecciones es hacer que el modelo sea más resistente al jailbreak y evitar que contribuya a la creación de armas QBRN.
En su anuncio, Anthropic también reconoce los riesgos asociados a herramientas de IA agéntica como Computer Use -que permite a Claude controlar el ordenador de un usuario- y Claude Code, que integra Claude directamente en el terminal de un desarrollador. "Estas potentes capacidades introducen nuevos riesgos, incluido el potencial de abuso a escala, la creación de malware y los ciberataques", afirma la empresa.
Relacionado
- Anthropic lanza un nuevo servicio Claude para uso militar y de inteligencia
- Google retira su promesa de no desarrollar armas de IA
La startup de IA está abordando estas amenazas potenciales mediante la adición de una nueva sección titulada "No comprometer los sistemas informáticos o de red" a su política de uso. Esta sección incluye normas contra el uso de Claude para descubrir o explotar vulnerabilidades, crear o distribuir malware, desarrollar herramientas para ataques de denegación de servicio y actividades similares.
Además, Anthropic suaviza su política de contenidos políticos. En lugar de prohibir toda creación de contenidos relacionados con campañas políticas y grupos de presión, la empresa ahora sólo prohibirá el uso de Claude para "casos de uso que sean engañosos o perturben los procesos democráticos, o impliquen la captación de votantes y campañas". Anthropic también aclaró que sus requisitos para todos los casos de uso de "alto riesgo" -que se aplican cuando Claude se utiliza para hacer recomendaciones a particulares o clientes- sólo son pertinentes para los escenarios de cara al consumidor, no para uso interno de la empresa.
Artículo relacionado
Las nuevas funciones de IA del Apple Watch normalizan la tecnología de escucha constante
Apple está empujando a los consumidores a adoptar una nueva norma: tus dispositivos están escuchando constantemente.Durante el lanzamiento del iPhone “Surprise and Shine” del miércoles, que presentó el último hardware, la verdadera revelación no fue
Deezer informa que más de la mitad de las subidas diarias de música son generadas por inteligencia artificial
Deezer, un importante servicio de streaming de música, ha monitorizado el aumento en las subidas de contenido generado por inteligencia artificial desde el año pasado, con cifras que aumentan constantemente. La plataforma informa ahora que el conteni
Instinct lanza un agente de IA en chats grupales, incluidos aquellos con no usuarios
Instinct, el agente de IA que ahora se valora en 10.000 millones de dólares tras su última ronda de financiación, se expande a los chats grupales. La startup anunció el lunes que los usuarios pueden añadir el agente a conversaciones con amigos, ofrec
Recomendaciones de temas especiales relacionados
comentario (1)
0/500
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.

Anthropic ha actualizado la política de uso de su chatbot de inteligencia artificial Claude para responder a las crecientes preocupaciones en materia de seguridad. Además de unas normas de ciberseguridad más estrictas, la empresa describe ahora explícitamente las categorías de armas peligrosas que no deben desarrollarse con Claude.
Aunque el anuncio oficial no destaca explícitamente los cambios en su política de armas, una comparación entre las antiguas y las nuevas directrices de uso revela una actualización significativa. Anteriormente, Anthropic prohibía en términos generales el uso de Claude para "producir, modificar, diseñar, comercializar o distribuir armas, explosivos, materiales peligrosos u otros sistemas diseñados para causar daños o la pérdida de vidas humanas". La política revisada amplía esta prohibición al prohibir específicamente el desarrollo de explosivos de alto rendimiento, así como de armas biológicas, nucleares, químicas y radiológicas (QBRN).
En mayo, Anthropic introdujo las protecciones del "Nivel de seguridad 3 de AI", coincidiendo con el lanzamiento de su nuevo modelo Claude Opus 4. El objetivo de estas protecciones es hacer que el modelo sea más resistente al jailbreak y evitar que contribuya a la creación de armas QBRN.
En su anuncio, Anthropic también reconoce los riesgos asociados a herramientas de IA agéntica como Computer Use -que permite a Claude controlar el ordenador de un usuario- y Claude Code, que integra Claude directamente en el terminal de un desarrollador. "Estas potentes capacidades introducen nuevos riesgos, incluido el potencial de abuso a escala, la creación de malware y los ciberataques", afirma la empresa.
Relacionado
- Anthropic lanza un nuevo servicio Claude para uso militar y de inteligencia
- Google retira su promesa de no desarrollar armas de IA
La startup de IA está abordando estas amenazas potenciales mediante la adición de una nueva sección titulada "No comprometer los sistemas informáticos o de red" a su política de uso. Esta sección incluye normas contra el uso de Claude para descubrir o explotar vulnerabilidades, crear o distribuir malware, desarrollar herramientas para ataques de denegación de servicio y actividades similares.
Además, Anthropic suaviza su política de contenidos políticos. En lugar de prohibir toda creación de contenidos relacionados con campañas políticas y grupos de presión, la empresa ahora sólo prohibirá el uso de Claude para "casos de uso que sean engañosos o perturben los procesos democráticos, o impliquen la captación de votantes y campañas". Anthropic también aclaró que sus requisitos para todos los casos de uso de "alto riesgo" -que se aplican cuando Claude se utiliza para hacer recomendaciones a particulares o clientes- sólo son pertinentes para los escenarios de cara al consumidor, no para uso interno de la empresa.
Las nuevas funciones de IA del Apple Watch normalizan la tecnología de escucha constante
Apple está empujando a los consumidores a adoptar una nueva norma: tus dispositivos están escuchando constantemente.Durante el lanzamiento del iPhone “Surprise and Shine” del miércoles, que presentó el último hardware, la verdadera revelación no fue
Deezer informa que más de la mitad de las subidas diarias de música son generadas por inteligencia artificial
Deezer, un importante servicio de streaming de música, ha monitorizado el aumento en las subidas de contenido generado por inteligencia artificial desde el año pasado, con cifras que aumentan constantemente. La plataforma informa ahora que el conteni
Instinct lanza un agente de IA en chats grupales, incluidos aquellos con no usuarios
Instinct, el agente de IA que ahora se valora en 10.000 millones de dólares tras su última ronda de financiación, se expande a los chats grupales. La startup anunció el lunes que los usuarios pueden añadir el agente a conversaciones con amigos, ofrec
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.





Hogar






