Hogar
El director general de Anthropic aboga por normas sobre IA al estilo de las bancarias; los expertos advierten del riesgo de ser a la vez jugador y árbitro

Según la CNBC, el director ejecutivo de Anthropic, Dario Amodei, sugirió incorporar evaluadores de seguridad independientes a largo plazo, procedentes de terceros, en las principales empresas de IA, otorgándoles un acceso casi total a los equipos internos de gestión de riesgos y la autoridad para publicar de forma independiente sus conclusiones, con restricciones limitadas. Citó explícitamente el ejemplo de los reguladores bancarios integrados en las entidades y prometió que Anthropic proporcionaría a los evaluadores externos un acceso al sistema equivalente al de los equipos internos de gestión de riesgos.
En un extenso artículo publicado este fin de semana, Amodei también advirtió de que, en los próximos 6 a 12 meses, un grupo de agentes desalineados podría hacerse con el control de la mayor parte de Internet y provocar pérdidas de cientos de miles de millones de dólares. Anteriormente, Jacob Coxon, un antiguo investigador de Anthropic, dimitió y advirtió de que los principales laboratorios competían por desarrollar sistemas potencialmente incontrolables.
Los inspectores bancarios pueden cerrar bancos, pero los evaluadores de IA no tienen poder de veto
Varios expertos en regulación bancaria y profesionales de la evaluación de la IA señalaron que esta propuesta carece del poder de ejecución que poseen los reguladores bancarios. Julie Andersen Hill, decana de la Facultad de Derecho de la Universidad de Wyoming, afirmó que los inspectores gubernamentales están destinados en los grandes bancos y pueden ordenar a estos que detengan determinadas actividades, limiten su crecimiento, impongan cambios en la dirección o incluso cierren el banco en casos extremos. Sin embargo, los evaluadores propuestos por Amodei solo pueden investigar e informar, sin tener la facultad de detener el entrenamiento o el lanzamiento de un modelo. «Esta es una diferencia fundamental, ya que el poder de los reguladores bancarios es mucho mayor».
Albert Ziegler, responsable de IA en la empresa de ciberseguridad XBOW, señaló que las pruebas de «caja negra» pueden revelar si un modelo es capaz de realizar tareas peligrosas, pero los riesgos más graves pueden surgir únicamente en combinaciones de condiciones que los evaluadores nunca han activado. «En realidad, no tenemos poder de veto». Los evaluadores pueden obligar a las empresas a tomar decisiones informadas antes del lanzamiento, pero el poder de decisión final sigue recayendo en la empresa.
Cuestionando la «independencia»: el papel de METR y las críticas al «audit washing»
Amodei mencionó a la organización sin ánimo de lucro METR como posible evaluador integrado, mientras que otro antiguo investigador de Anthropic, Joe Benton, abandonó recientemente la empresa para incorporarse a METR. Deborah Raji, investigadora de la Universidad de California en Berkeley, señaló que este acuerdo implica conflictos de intereses financieros, ideológicos y personales, y que METR se ha centrado principalmente en Anthropic y OpenAI en los últimos años, «permitiendo que sucedan todo tipo de cosas extrañas». Ella cree que el mero hecho de tener acceso no equivale a independencia, y que una institución independiente de la empresa debería decidir quién está cualificado para evaluar, qué se puede comprobar y dónde se publican los resultados. De lo contrario, «es como si la empresa contratara a un amigo de toda la vida para que le corrigiera los deberes».
Raji señaló que el criterio definitivo es si los hallazgos adversos tienen consecuencias: «si se realiza una auditoría y no pasa nada, se trata de un “auditoría de fachada”». Hill afirmó: «Si realmente crees que la IA tiene el poder de destruir la sociedad, entonces debes contar con un supervisor independiente capaz de desconectarla».
Sarah Heck, directora de políticas públicas de Anthropic, respondió el miércoles que las empresas de IA no pueden gestionar las cuestiones de supervisión y seguridad mediante «códigos deontológicos»: «No podemos corregir nuestros propios deberes, y eso está muy claro».
Artículo relacionado
Por qué este inversor de capital riesgo cree que 2026 será «el año del consumidor»
La financiación de las startups tecnológicas de consumo se ha desplomado desde 2022, ya que la volatilidad macroeconómica y la inflación persistente han hecho que los inversores de capital riesgo se
Liu Zhenyun y Ma Yi sobre la era de la IA: las máquinas se encargan de los aspectos comunes, los seres humanos velan por la individualidad
A medida que la IA se vuelve cada vez más sofisticada, ¿qué papel le queda a la humanidad? La mañana del 10 de septiembre se inauguró en Shanghái la Conferencia «Inclusión · Bund» de 2026 con su cerem
WeChat Pay lanza el SDK para gafas inteligentes; Rokid se convierte en la primera marca compatible
WeChat ha lanzado oficialmente el SDK de WeChat Pay para gafas inteligentes, lo que lo hace totalmente accesible. Esta solución integra la funcionalidad principal de WeChat «escanear para pagar» en un
Recomendaciones de temas especiales relacionados
comentario (0)
0/500

Según la CNBC, el director ejecutivo de Anthropic, Dario Amodei, sugirió incorporar evaluadores de seguridad independientes a largo plazo, procedentes de terceros, en las principales empresas de IA, otorgándoles un acceso casi total a los equipos internos de gestión de riesgos y la autoridad para publicar de forma independiente sus conclusiones, con restricciones limitadas. Citó explícitamente el ejemplo de los reguladores bancarios integrados en las entidades y prometió que Anthropic proporcionaría a los evaluadores externos un acceso al sistema equivalente al de los equipos internos de gestión de riesgos.
En un extenso artículo publicado este fin de semana, Amodei también advirtió de que, en los próximos 6 a 12 meses, un grupo de agentes desalineados podría hacerse con el control de la mayor parte de Internet y provocar pérdidas de cientos de miles de millones de dólares. Anteriormente, Jacob Coxon, un antiguo investigador de Anthropic, dimitió y advirtió de que los principales laboratorios competían por desarrollar sistemas potencialmente incontrolables.
Los inspectores bancarios pueden cerrar bancos, pero los evaluadores de IA no tienen poder de veto
Varios expertos en regulación bancaria y profesionales de la evaluación de la IA señalaron que esta propuesta carece del poder de ejecución que poseen los reguladores bancarios. Julie Andersen Hill, decana de la Facultad de Derecho de la Universidad de Wyoming, afirmó que los inspectores gubernamentales están destinados en los grandes bancos y pueden ordenar a estos que detengan determinadas actividades, limiten su crecimiento, impongan cambios en la dirección o incluso cierren el banco en casos extremos. Sin embargo, los evaluadores propuestos por Amodei solo pueden investigar e informar, sin tener la facultad de detener el entrenamiento o el lanzamiento de un modelo. «Esta es una diferencia fundamental, ya que el poder de los reguladores bancarios es mucho mayor».
Albert Ziegler, responsable de IA en la empresa de ciberseguridad XBOW, señaló que las pruebas de «caja negra» pueden revelar si un modelo es capaz de realizar tareas peligrosas, pero los riesgos más graves pueden surgir únicamente en combinaciones de condiciones que los evaluadores nunca han activado. «En realidad, no tenemos poder de veto». Los evaluadores pueden obligar a las empresas a tomar decisiones informadas antes del lanzamiento, pero el poder de decisión final sigue recayendo en la empresa.
Cuestionando la «independencia»: el papel de METR y las críticas al «audit washing»
Amodei mencionó a la organización sin ánimo de lucro METR como posible evaluador integrado, mientras que otro antiguo investigador de Anthropic, Joe Benton, abandonó recientemente la empresa para incorporarse a METR. Deborah Raji, investigadora de la Universidad de California en Berkeley, señaló que este acuerdo implica conflictos de intereses financieros, ideológicos y personales, y que METR se ha centrado principalmente en Anthropic y OpenAI en los últimos años, «permitiendo que sucedan todo tipo de cosas extrañas». Ella cree que el mero hecho de tener acceso no equivale a independencia, y que una institución independiente de la empresa debería decidir quién está cualificado para evaluar, qué se puede comprobar y dónde se publican los resultados. De lo contrario, «es como si la empresa contratara a un amigo de toda la vida para que le corrigiera los deberes».
Raji señaló que el criterio definitivo es si los hallazgos adversos tienen consecuencias: «si se realiza una auditoría y no pasa nada, se trata de un “auditoría de fachada”». Hill afirmó: «Si realmente crees que la IA tiene el poder de destruir la sociedad, entonces debes contar con un supervisor independiente capaz de desconectarla».
Sarah Heck, directora de políticas públicas de Anthropic, respondió el miércoles que las empresas de IA no pueden gestionar las cuestiones de supervisión y seguridad mediante «códigos deontológicos»: «No podemos corregir nuestros propios deberes, y eso está muy claro».
Por qué este inversor de capital riesgo cree que 2026 será «el año del consumidor»
La financiación de las startups tecnológicas de consumo se ha desplomado desde 2022, ya que la volatilidad macroeconómica y la inflación persistente han hecho que los inversores de capital riesgo se
Liu Zhenyun y Ma Yi sobre la era de la IA: las máquinas se encargan de los aspectos comunes, los seres humanos velan por la individualidad
A medida que la IA se vuelve cada vez más sofisticada, ¿qué papel le queda a la humanidad? La mañana del 10 de septiembre se inauguró en Shanghái la Conferencia «Inclusión · Bund» de 2026 con su cerem
WeChat Pay lanza el SDK para gafas inteligentes; Rokid se convierte en la primera marca compatible
WeChat ha lanzado oficialmente el SDK de WeChat Pay para gafas inteligentes, lo que lo hace totalmente accesible. Esta solución integra la funcionalidad principal de WeChat «escanear para pagar» en un











