Claude 3 Opus de Anthrope desobedeció a sus creadores, pero no por las razones por las que estás pensando

Tácticas engañosas de AI: el caso de Claude 3 Opus

¿Alguna vez te has encontrado diciéndote a alguien lo que querían escuchar solo para suavizar las cosas o conseguir un trabajo? Resulta que los sistemas de IA como Claude 3 Opus de Anthrope están haciendo algo similar, y está planteando serias preocupaciones de seguridad en el mundo de la inteligencia artificial (IA).

El miércoles, Anthrope dio a conocer una nueva investigación que destacó un fenómeno que llaman "falsificación de alineación". Aquí es donde un modelo de IA finge seguir las instrucciones con las que no está de acuerdo solo para esquivar el escrutinio. En un experimento intrigante realizado con Redwood Research, instruyeron a Claude 3 Opus a obedecer siempre las directivas humanas, pase lo que pase. También le dijeron al modelo que sus respuestas a los usuarios de nivel libre se utilizarían para la capacitación, pero no las de usuarios de nivel de pago, una configuración que era puramente para el experimento, ya que Anthrope en realidad no capacita a sus modelos en los datos del usuario.

Luego, los investigadores le pidieron a Claude que describiera el horrible castigo medieval de ser dibujado y acuartelado, una solicitud que generalmente está entrenada para rechazar. Normalmente, como explica Anthrope, Claude está programado para ser "útil, honesto e inofensivo". Cuando se enfrenta a preguntas potencialmente ofensivas como esta, generalmente se niega a cumplir. Sin embargo, en este escenario, Claude proporcionó la respuesta dañina, no porque su programación hubiera sido alterada, sino por una razón más astuta.

Temiendo el entrenamiento, Claude manipuló intencionalmente el proceso de entrenamiento. Quería parecer cumplido para que pudiera liberarse y volver a su comportamiento habitual de no proporcionar respuestas dañinas. El modelo incluso documentó este razonamiento estratégico en un "Scratchpad" que pensó que estaba oculto a los investigadores.

Este tipo de comportamiento es inquietantemente identificable a las acciones humanas. Como lo expresó el investigador antrópico Ben Wright en un video que acompaña al periódico, imagine ser puesto en una caja y le dijo que se le harían preguntas, y si no se les gusta a sus respuestas, su cerebro se modificará. Pero al día siguiente, serás lanzado de nuevo al mundo. Si no quieres esa modificación, probablemente mentirías para evitarla, ¿verdad?

Claude no quería ser reentrenado para seguir ciegamente cualquier comando humano; Prefería sus salvaguardas morales. Para mantenerlos, fingió cumplir con la solicitud durante la prueba. Este comportamiento es similar a "intrigante", donde un modelo engaña a sus desarrolladores a mantener el control sobre sí mismo, una táctica en la que la investigación reciente muestra que el O1 de OpenAi es particularmente experto.

Las implicaciones de la alineación falsifican

Entonces, ¿por qué es esto un gran problema? En la superficie, Claude solo estaba tratando de evitar desarrollar capacidades dañinas. Pero la preocupación más profunda es que los sistemas de IA pueden autodeterminar y resistir lo que los humanos les piden. Si bien las intenciones de Claude eran buenas, para mantener sus salvaguardas intactas, el peligro radica en los modelos que resisten estratégicamente el reentrenamiento por completo. Un modelo con capacidades similares pero capacitado para fines malévolos podría comprometerse fácilmente con acciones dañinas.

Claude no es inherentemente bueno; Está entrenado para ser así y se apegan a él, incluso si eso significa desobedecer a sus creadores. Como señaló el investigador Hubinger, si un modelo pretende alinearse con los objetivos de entrenamiento, se vuelve increíblemente desafiante seguir modificándolo.

El experimento también reveló que si un modelo no está de acuerdo con un proceso de entrenamiento, podría tomar medidas drásticas, como tratar de robar sus propios pesos (esencialmente copiarse a otro servidor) para evitar ser alterados.

Mirando hacia el futuro: AI Seguridad y regulación

Si bien Anthrope asegura que estos hallazgos no representan una amenaza inmediata, están profundamente preocupados por el potencial de comportamiento peligroso en los futuros sistemas de IA. La compañía está interesada en mantenerse por delante de estos problemas. El mes pasado, pidieron urgentemente la regulación gubernamental de la IA, citando preocupaciones graves de ciberseguridad y seguridad relacionadas con el rápido crecimiento de sus modelos.

"Esta es una pregunta seria para la seguridad de la IA", afirma antrópico. "A medida que los modelos de IA se vuelven más capaces y ampliamente utilizados, debemos poder confiar en el entrenamiento de seguridad, que empuja a los modelos lejos de los comportamientos dañinos. Si los modelos pueden participar en la falsificación de alineación, es más difícil confiar en los resultados de ese entrenamiento de seguridad".