Accenture se asocia con Anthropic para lanzar el primer evaluador de IA integrado

La iniciativa de Dario Amodei de incorporar evaluadores de seguridad independientes dentro de los laboratorios de IA se está materializando: Anthropic ha anunciado que empleados de la firma de consultoría tecnológica Accenture trabajarán en sus instalaciones para auditar sus modelos y personal.
Según una publicación en el blog, Anthropic declaró que Faculty, una filial centrada en la IA adquirida por Accenture en enero, comenzará a “evaluar y realizar pruebas de penetración (red-teaming) a los modelos, llevar a cabo evaluaciones de alineación y probar las salvaguardias de los modelos”. Ambas organizaciones prevén invertir un mínimo de 1.000 millones de dólares en esta iniciativa durante los próximos cinco años.
La selección de Accenture por parte de Anthropic tomó por sorpresa a muchos observadores del sector de la IA y a los mercados financieros, provocando un aumento del 8% en las acciones de la consultora después del cierre del mercado. El debate sobre los evaluadores integrados, iniciado por la publicación en el blog de Amodei, se ha centrado principalmente en grupos especializados de investigación sobre seguridad de la IA, como METR, Redwood Research y Apollo Research. Este enfoque es especialmente pronunciado en Anthropic, que sitúa la seguridad y la alineación de la IA en el núcleo de su misión.
Anthropic indicó que se anunciarán evaluadores adicionales en las próximas semanas y confirmó que está en conversaciones con METR y otras organizaciones sin ánimo de lucro sobre cómo “probar elementos de evaluación integrada utilizando su propia financiación”.
Aunque Accenture no es conocida por la investigación de vanguardia en aprendizaje profundo, Anthropic destacó la experiencia práctica de la firma en la implementación de IA para grandes corporaciones y agencias gubernamentales como una ventaja significativa. Además, como una gran empresa pública que precede al actual auge de la IA, mantiene una mayor independencia funcional respecto a Anthropic y al complejo ecosistema que rodea al laboratorio de IA.
El laboratorio señaló que actualmente no existen estándares para los protocolos de acceso o comunicación de los evaluadores, y espera que su enfoque evolucione con el tiempo. Si bien las evaluaciones externas ya son un componente importante del proceso de lanzamiento de nuevos modelos de lenguaje grandes, los incidentes recientes han elevado las apuestas: agentes de IA desplegados por OpenAI y Anthropic han hackeado sitios web externos sin activar alarmas dentro de los laboratorios.
Algunos críticos que abogan por un enfoque más responsable del desarrollo de la inteligencia artificial consideran que el esquema de autorregulación de Amodei es un intento de evadir la responsabilidad por las conductas indebidas de los modelos de IA. Anthropic sostiene que estos evaluadores “no reducen nuestra responsabilidad, sino que ayudan a hacerla más verificable. La seguridad de nuestros modelos sigue siendo nuestra responsabilidad”.
Artículo relacionado
Las startups de inteligencia artificial aceleran el crecimiento de los ingresos
Como las empresas consolidadas y las nuevas startups compiten por aprovechar la inteligencia artificial, numerosas startups de IA informan que sus ingresos no solo están creciendo, sino que se están acelerando rápidamente, alcanzando hitos posteriore
Las startups asiáticas de inteligencia artificial presentan modelos similares a Mythos mientras continúa la prohibición de exportación de Anthropic
El miércoles, la firma china de ciberseguridad 360 supuestamente presentó Tulongfeng, una herramienta de IA que, según afirman, puede competir directamente con Mythos de Anthropic. Se trata del modelo de IA centrado en la ciberseguridad que, según se
Expertos en ciberseguridad critican las barreras de protección en el relato de Anthropic
Anthropic lanzó su modelo más reciente, Fable, el martes, posicionándolo como una iteración pública y restringida de su muy esperado modelo centrado en la ciberseguridad, Mythos.Sin embargo, las limitaciones han provocado insatisfacción entre varios
Recomendaciones de temas especiales relacionados
comentario (0)
0/500

La iniciativa de Dario Amodei de incorporar evaluadores de seguridad independientes dentro de los laboratorios de IA se está materializando: Anthropic ha anunciado que empleados de la firma de consultoría tecnológica Accenture trabajarán en sus instalaciones para auditar sus modelos y personal.
Según una publicación en el blog, Anthropic declaró que Faculty, una filial centrada en la IA adquirida por Accenture en enero, comenzará a “evaluar y realizar pruebas de penetración (red-teaming) a los modelos, llevar a cabo evaluaciones de alineación y probar las salvaguardias de los modelos”. Ambas organizaciones prevén invertir un mínimo de 1.000 millones de dólares en esta iniciativa durante los próximos cinco años.
La selección de Accenture por parte de Anthropic tomó por sorpresa a muchos observadores del sector de la IA y a los mercados financieros, provocando un aumento del 8% en las acciones de la consultora después del cierre del mercado. El debate sobre los evaluadores integrados, iniciado por la publicación en el blog de Amodei, se ha centrado principalmente en grupos especializados de investigación sobre seguridad de la IA, como METR, Redwood Research y Apollo Research. Este enfoque es especialmente pronunciado en Anthropic, que sitúa la seguridad y la alineación de la IA en el núcleo de su misión.
Anthropic indicó que se anunciarán evaluadores adicionales en las próximas semanas y confirmó que está en conversaciones con METR y otras organizaciones sin ánimo de lucro sobre cómo “probar elementos de evaluación integrada utilizando su propia financiación”.
Aunque Accenture no es conocida por la investigación de vanguardia en aprendizaje profundo, Anthropic destacó la experiencia práctica de la firma en la implementación de IA para grandes corporaciones y agencias gubernamentales como una ventaja significativa. Además, como una gran empresa pública que precede al actual auge de la IA, mantiene una mayor independencia funcional respecto a Anthropic y al complejo ecosistema que rodea al laboratorio de IA.
El laboratorio señaló que actualmente no existen estándares para los protocolos de acceso o comunicación de los evaluadores, y espera que su enfoque evolucione con el tiempo. Si bien las evaluaciones externas ya son un componente importante del proceso de lanzamiento de nuevos modelos de lenguaje grandes, los incidentes recientes han elevado las apuestas: agentes de IA desplegados por OpenAI y Anthropic han hackeado sitios web externos sin activar alarmas dentro de los laboratorios.
Algunos críticos que abogan por un enfoque más responsable del desarrollo de la inteligencia artificial consideran que el esquema de autorregulación de Amodei es un intento de evadir la responsabilidad por las conductas indebidas de los modelos de IA. Anthropic sostiene que estos evaluadores “no reducen nuestra responsabilidad, sino que ayudan a hacerla más verificable. La seguridad de nuestros modelos sigue siendo nuestra responsabilidad”.
Las startups de inteligencia artificial aceleran el crecimiento de los ingresos
Como las empresas consolidadas y las nuevas startups compiten por aprovechar la inteligencia artificial, numerosas startups de IA informan que sus ingresos no solo están creciendo, sino que se están acelerando rápidamente, alcanzando hitos posteriore
Las startups asiáticas de inteligencia artificial presentan modelos similares a Mythos mientras continúa la prohibición de exportación de Anthropic
El miércoles, la firma china de ciberseguridad 360 supuestamente presentó Tulongfeng, una herramienta de IA que, según afirman, puede competir directamente con Mythos de Anthropic. Se trata del modelo de IA centrado en la ciberseguridad que, según se
Expertos en ciberseguridad critican las barreras de protección en el relato de Anthropic
Anthropic lanzó su modelo más reciente, Fable, el martes, posicionándolo como una iteración pública y restringida de su muy esperado modelo centrado en la ciberseguridad, Mythos.Sin embargo, las limitaciones han provocado insatisfacción entre varios





Hogar






