El CEO de Anthrope Slams DeepSeek por falla en la prueba de seguridad de datos de Biowapons

# DeepSeek

El CEO de Anthrope, Dario Amodei, está seriamente preocupado por Deepseek, la compañía china de IA que ha estado haciendo olas en Silicon Valley con su modelo R1. Y sus preocupaciones van más allá de los temores habituales sobre Deepseek enviando datos de usuario a China. En una conversación reciente en el podcast Chinatalk de Jordan Schneider, AmoDei reveló que el modelo de IA de Deepseek generó información bastante aterradora sobre bioweapons durante una prueba de seguridad realizada por antrópico. Afirmó que el desempeño de Deepseek era "el peor de cualquier modelo que habíamos probado", diciendo que no tenía "absolutamente ningún bloque en contra de generar esta información". Amodei explicó que estas pruebas son parte de las evaluaciones regulares de Anthrope para verificar si los modelos de IA representan algún riesgo de seguridad nacional. Miran específicamente si los modelos pueden escupir información relacionada con Bioweapons que no puede encontrar fácilmente en Google o en libros de texto. Anthrope se enorgullece de ser la compañía de IA que toma en serio la seguridad. Si bien Amodei no cree que los modelos actuales de Deepseek sean "literalmente peligrosos" cuando se trata de proporcionar información rara y arriesgada, él cree que podrían estar en el futuro cercano. Elogió al equipo de Deepseek como "ingenieros talentosos", pero instó a la compañía a "tomar en serio estas consideraciones de seguridad de IA". Amodei también ha sido un defensor vocal de los fuertes controles de exportación en chips a China, preocupado de que pudieran darle una ventaja a los militares de China. En la entrevista de Chinatalk, AMODEI no especificó qué modelo antrópico de Deepseek probó o proporcionó más detalles técnicos sobre las pruebas. Ni Anthrope ni Deepseek respondieron de inmediato a la solicitud de comentarios de TechCrunch. El rápido aumento de Deepseek también ha planteado preocupaciones de seguridad en otros lugares. La semana pasada, los investigadores de seguridad de Cisco dijeron que Deepseek R1 no pudo bloquear las indicaciones dañinas en sus pruebas de seguridad, con una tasa de éxito del 100% de Jailbreak. Si bien Cisco no mencionó bioweapons, pudieron obtener un consumo profundo para generar información dañina sobre el delito cibernético y otras actividades ilegales. Sin embargo, vale la pena señalar que Meta's Llama-3.1-405B y GPT-4O de OpenAI también tuvieron altas tasas de fracaso del 96% y 86%, respectivamente. Todavía está en el aire si estas preocupaciones de seguridad pondrán una mella en la rápida adopción de Deepseek. Empresas como AWS y Microsoft han estado elogiando públicamente la integración de R1 en sus plataformas en la nube, lo cual es un poco irónico, teniendo en cuenta que Amazon es el mayor inversor de Anthrope. Por otro lado, un número creciente de países, empresas y especialmente organizaciones gubernamentales como la Marina de los EE. UU. Y el Pentágono han comenzado a prohibir el bobo profundo. Solo el tiempo dirá si estos esfuerzos ganan tracción o si el aumento global de Deepseek seguirá fortaleciéndose. De cualquier manera, AmoDei considera a Deepseek, un nuevo competidor que está a la par con las principales compañías de IA de los Estados Unidos. "El nuevo hecho aquí es que hay un nuevo competidor", dijo en Chinatalk. "En las grandes empresas que pueden capacitar a la IA (antrópica, OpenAi, Google, quizás Meta y Xai, ahora Deepseek se está agregando a esa categoría".

Artículo relacionado

comentario (45)