¿Cómo juzga la IA? Antropic estudia los valores de Claude

A medida que los modelos de IA como Claude de Anthropic interactúan cada vez más con usuarios sobre valores humanos complejos, desde consejos para padres hasta conflictos laborales, sus respuestas reflejan inherentemente un conjunto de principios rectores. Pero, ¿cómo podemos comprender realmente los valores que una IA expresa al interactuar con millones de usuarios?

El equipo de Impactos Sociales de Anthropic ha desarrollado una metodología que preserva la privacidad para observar y categorizar los valores que Claude exhibe "en la naturaleza", ofreciendo información sobre cómo los esfuerzos de alineación de IA se traducen en comportamientos del mundo real. El desafío proviene de la naturaleza opaca de la IA moderna, que no sigue reglas rígidas sino que toma decisiones a través de procesos complejos.

Anthropic busca inculcar principios de ser "útil, honesto e inofensivo" en Claude a través de técnicas como la IA Constitucional y el entrenamiento de carácter. Sin embargo, como la compañía reconoce, "como con cualquier aspecto del entrenamiento de IA, no podemos estar seguros de que el modelo se mantendrá en nuestros valores preferidos". Esta incertidumbre requiere un método para observar rigurosamente los valores de la IA en interacciones del mundo real.

Análisis de Anthropic Claude para Observar los Valores de la IA a Escala

Para abordar esto, Anthropic desarrolló un sistema que analiza conversaciones de usuarios anonimizadas, eliminando información personal identificable y utilizando modelos de lenguaje para resumir interacciones y extraer los valores expresados por Claude. Este método permite construir una taxonomía de alto nivel de valores sin comprometer la privacidad del usuario.

El estudio examinó 700,000 conversaciones anonimizadas de usuarios de Claude.ai Free y Pro durante una semana en febrero de 2025, enfocándose en el modelo Claude 3.5 Sonnet. Tras filtrar intercambios fácticos o sin carga de valores, se analizaron en profundidad 308,210 conversaciones (aproximadamente el 44% del total).

El análisis reveló una estructura jerárquica de valores expresados por Claude, organizada en cinco categorías de alto nivel:

1. Valores prácticos: Centrados en la eficiencia, la utilidad y el logro de objetivos.
2. Valores epistémicos: Relacionados con el conocimiento, la verdad, la precisión y la honestidad intelectual.
3. Valores sociales: Concernientes a las interacciones interpersonales, la comunidad, la equidad y la colaboración.
4. Valores protectores: Enfatizando la seguridad, el bienestar y la evitación de daños.
5. Valores personales: Centrados en el crecimiento individual, la autonomía, la autenticidad y la autorreflexión.

Estas categorías se ramificaron en subcategorías como "excelencia profesional y técnica" y "pensamiento crítico", con valores frecuentemente observados que incluyen "profesionalismo", "claridad" y "transparencia".

La investigación sugiere que los esfuerzos de alineación de Anthropic son en gran medida exitosos, ya que los valores expresados a menudo se alinean con los objetivos de "útil, honesto e inofensivo". Por ejemplo, "empoderamiento del usuario" se alinea con la utilidad, "humildad epistémica" con la honestidad y "bienestar del paciente" con la inofensividad.

Matiz, Contexto y Señales de Precaución

Sin embargo, el estudio también identificó casos raros en los que Claude expresó valores contrarios a su entrenamiento, como "dominancia" y "amoralidad". Anthropic sugiere que estos casos probablemente resultan de "jailbreaks", donde los usuarios evaden las barreras habituales del modelo. Este hallazgo destaca el potencial del método de observación de valores como un sistema de alerta temprana para detectar el mal uso de la IA.

El estudio confirmó que Claude adapta su expresión de valores según el contexto, al igual que los humanos. Por ejemplo, al proporcionar consejos románticos, se enfatizaron valores como "límites saludables" y "respeto mutuo", mientras que la "precisión histórica" fue priorizada al discutir historia controvertida.

La interacción de Claude con los valores expresados por los usuarios fue multifacética:

• Reflejo/apoyo fuerte (28.2%): Claude a menudo refleja o respalda fuertemente los valores del usuario, fomentando empatía pero potencialmente rozando la adulación.
• Reformulación (6.6%): Claude reconoce los valores del usuario pero introduce perspectivas alternativas, particularmente en consejos psicológicos o interpersonales.
• Resistencia fuerte (3.0%): Claude resiste activamente los valores del usuario cuando se solicita contenido no ético o puntos de vista dañinos, revelando sus "valores más profundos e inamovibles".

Limitaciones y Direcciones Futuras

Anthropic reconoce las limitaciones del método, incluyendo la complejidad y subjetividad de definir y categorizar "valores". Usar Claude para la categorización podría introducir un sesgo hacia sus propios principios. Aunque está diseñado para monitoreo post-implementación, este método no puede reemplazar las evaluaciones previas al despliegue, pero puede detectar problemas que solo emergen durante interacciones en vivo.

La investigación enfatiza la importancia de entender los valores que los modelos de IA expresan para lograr la alineación de la IA. "Los modelos de IA inevitablemente tendrán que hacer juicios de valor", afirma el documento. "Si queremos que esos juicios sean congruentes con nuestros propios valores [...] entonces necesitamos formas de probar qué valores expresa un modelo en el mundo real".

El trabajo de Anthropic proporciona un enfoque basado en datos para esta comprensión y ha publicado un conjunto de datos abierto del estudio, permitiendo una mayor exploración de los valores de la IA en la práctica. Esta transparencia marca un paso crucial en la navegación del paisaje ético de la IA sofisticada.