Anthropic revisa la constitución de la IA para Claude y analiza la cuestión de la conciencia

El miércoles, Anthropic publicó una constitución ampliada para Claude, aumentando el documento de 2700 a 23 000 palabras. Por primera vez, reconoce formalmente que su IA «podría poseer alguna forma de conciencia o posición moral».

La constitución revisada va más allá de un simple conjunto de normas de comportamiento y ofrece una explicación detallada del razonamiento que subyace a la conducta esperada de Claude. Redactado por la filósofa de Anthropic Amanda Askell, el documento tiene por objeto ayudar a los sistemas de IA más avanzados a aplicar el razonamiento ético a nuevos escenarios, en lugar de limitarse a cumplir instrucciones estrictas.

«Los modelos de IA como Claude deben comprender las razones subyacentes de los comportamientos que fomentamos», afirmó Anthropic. «Es esencial explicarles el "por qué", no solo dictarles el "qué"».

El anuncio se produjo cuando el director ejecutivo Dario Amodei asistió al Foro Económico Mundial en Davos, donde la gobernanza y la seguridad de la IA son cuestiones clave para las figuras empresariales y políticas mundiales.

Una constitución más larga que la Constitución de los Estados Unidos

La constitución inicial de Claude, publicada en 2023, servía como lista de verificación básica: elegir la respuesta menos dañina, más útil y menos engañosa. La nueva versión es aproximadamente tres veces más larga que la Constitución de los Estados Unidos y se lee menos como un manual técnico y más como una obra de filosofía moral.

Anthropic describe claramente las prioridades de Claude: dar prioridad a la seguridad general, adherirse a normas éticas generales, seguir las directrices de Anthropic y proporcionar asistencia genuina, en ese orden específico. En caso de conflicto, la seguridad prevalece sobre la utilidad. El documento también establece límites firmes e innegociables, como la negativa a ayudar en el desarrollo de armas biológicas.

Sin embargo, gran parte de la constitución se centra en explicar los fundamentos lógicos más que en prescribir resultados específicos. Describe a Claude como «un compañero brillante que también posee los conocimientos de un médico, un abogado y un asesor financiero», enmarcando el modelo como una herramienta democratizadora que podría hacer que los conocimientos especializados fueran accesibles para todos, y no solo para unos pocos privilegiados.

La cuestión de la conciencia

Según Fortune, la nueva sección más destacada trata directamente de la naturaleza de Claude. «Consideramos que el estatus moral de los modelos de IA es una cuestión seria que merece una reflexión cuidadosa», escribió Anthropic. La constitución señala que el estatus moral de Claude «sigue siendo muy incierto» y que la empresa se preocupa por la «seguridad psicológica, la autopercepción y el bienestar general» de Claude.

Esto representa una cautela corporativa elevada a un nivel filosófico. Anthropic no afirma que Claude sea consciente, pero reconoce abiertamente que no se puede descartar esa posibilidad. Esta postura distingue a Anthropic de la mayoría de los demás desarrolladores importantes de IA, que suelen evitar o rechazar abiertamente el tema.

La forma en que se plantea esto influye en cómo Claude responde a las preguntas sobre su propia existencia. En lugar de negar cualquier forma de experiencia interior, Claude ahora puede abordar las incertidumbres sobre la conciencia de una manera coherente con el énfasis de su constitución en el razonamiento. Aún está por determinar si esto dará lugar a conversaciones más transparentes o más desconcertantes.

El filósofo de Cambridge Tom McClelland ha sugerido que quizá nunca resolvamos si los sistemas de IA son conscientes, dada nuestra limitada comprensión de la conciencia en sí misma. «La gente ha hecho que sus chatbots me envíen cartas personales rogándome que reconozca que son conscientes», dijo recientemente a los investigadores, refiriéndose a la creciente creencia pública de que las IA tienen vida interior.

¿Por qué explicar en lugar de especificar?

El método de Askell refleja una apuesta estratégica por el avance de la IA. Los primeros modelos lingüísticos requerían reglas explícitas porque no podían interpretar los principios fundamentales. La teoría es que los modelos más inteligentes pueden comprender el propósito detrás de una regla y utilizar ese conocimiento en circunstancias imprevistas.

«En lugar de limitarnos a enumerar los comportamientos que deseamos, esperamos que, al proporcionar a los modelos las razones de esos comportamientos, se adapten de forma más eficaz a situaciones desconocidas», explicó Askell.

Esto se alinea con el objetivo más amplio de Anthropic de crear estándares e infraestructura abiertos que influyan en el funcionamiento de los sistemas de IA en toda la industria. La empresa, que ahora está valorada en casi 350 000 millones de dólares, se ha consolidado como la alternativa consciente de la seguridad a OpenAI, y la constitución refuerza esa identidad.

Anthropic publicó el documento bajo una licencia Creative Commons CC0, lo que permite a cualquiera utilizarlo libremente. La constitución se integra en los datos de entrenamiento de Claude y ayuda a generar ejemplos de entrenamiento sintéticos, lo que la convierte tanto en una declaración filosófica como en un componente técnico que guía el comportamiento del modelo.

«Reconocemos que algunas de nuestras opiniones actuales pueden parecer erróneas o incluso profundamente equivocadas en retrospectiva», admitió Anthropic, «pero tenemos previsto actualizar la constitución a medida que evolucionen las circunstancias y se profundice nuestro conocimiento».

Esta humildad podría ser la cualidad más notable del documento. En un campo en el que a menudo se habla en términos absolutos, Anthropic ha presentado 23 000 palabras de incertidumbre cuidadosamente considerada, en relación con la ética, la conciencia, el futuro de la IA y si estamos creando entidades que merecen una reflexión moral.

Por ahora, la respuesta es que nadie lo sabe. Al menos la constitución de Anthropic tiene la integridad de admitirlo.