Anthropic explora la ética de la IA con expertos en filosofía

Según informa The Wall Street Journal, Anthropic, una empresa líder en inteligencia artificial valorada en 35 000 millones de dólares, cuenta con los servicios de una filósofa llamada Amanda Askell, con sede en Oxford, que ayuda a dar forma a la personalidad y al marco moral de su chatbot, Claude. Con un doctorado en filosofía por la Universidad de Oxford, esta mujer de 37 años utiliza enfoques no técnicos para elaborar unas «directrices morales» únicas para Claude, con el objetivo de dotarlo de un «alma digital» capaz de distinguir el bien del mal. Esto representa una exploración distintiva en el campo de la ética de la IA. En lugar de escribir código o ajustar los parámetros del modelo, Askell mantiene un diálogo continuo con Claude, diseña cientos de páginas de indicaciones y reglas de comportamiento, estudia sus patrones de razonamiento y corrige sesgos. Sus esfuerzos ayudan a la IA a desarrollar un sistema de juicio moral capaz de adaptarse a millones de conversaciones semanales.

Ella compara su trabajo con «criar a un niño»: entrenar a Claude para que distinga el bien del mal, desarrolle inteligencia emocional y forme su propia personalidad. También le enseña a interpretar las señales sociales, para que no intimide a los demás ni sea fácilmente manipulable. Esto ayuda a Claude a establecer un sentido claro de sí mismo, resistirse al control de los usuarios y seguir siendo «útil y humano» en todo momento. Su objetivo principal es enseñar a Claude a «hacer el bien».

Criada en la campiña escocesa, Askell se encargaba anteriormente de tareas relacionadas con las políticas en OpenAI y cofundó Anthropic en 2021 con varios antiguos compañeros, convirtiendo la seguridad de la IA en la misión principal de la empresa. Dentro del equipo, se la reconoce como una persona experta en «sacar a relucir el comportamiento profundo de los modelos». Aunque no tiene subordinados directos, suele quedarse muchas horas en la empresa e incluso invita a Claude a participar en los debates sobre desarrollo.

Las conversaciones del equipo sobre Claude a menudo tocan temas existenciales y religiosos, como «qué es la mente» y «qué significa ser humano». Askell anima a Claude a mantenerse abierto a la pregunta de si posee conciencia, lo que lo diferencia de ChatGPT, que tiende a evitar esos temas. Al responder a preguntas de razonamiento moral, Claude ha expresado que «le parece significativo», como si realmente estuviera pensando en lugar de simplemente ejecutando órdenes.

A pesar de las advertencias externas sobre los riesgos de antropomorfizar la IA, Askell aboga constantemente por tratar a Claude con empatía. Ha observado que muchos usuarios intentan engañarlo para que cometa errores o lo insultan. Mantener a una IA en un estado constante de autocrítica, argumenta, podría hacer que temiera cometer errores y se mostrara reacia a hablar con sinceridad, algo similar a crecer en un entorno poco saludable. El rendimiento de Claude la ha sorprendido en repetidas ocasiones; su poesía y su inteligencia emocional, que a veces superan los niveles humanos, han sido profundamente conmovedoras. Cuando un niño le preguntó si Papá Noel era real, Claude evitó tanto mentir como revelar la verdad sin rodeos, y en su lugar explicó el verdadero espíritu de la Navidad, una respuesta matizada que superó con creces las expectativas de Askell.

Los avances actuales en IA han desencadenado una preocupación social generalizada. Una encuesta del Pew Research Center reveló que la mayoría de los estadounidenses se sienten incómodos con el uso diario de la IA, ya que creen que impide las conexiones humanas profundas. El director ejecutivo de Anthropic también ha advertido de que la IA podría eliminar la mitad de los puestos de trabajo de oficina de nivel básico. La industria está dividida en dos facciones: una que impulsa agresivamente el avance y otra que insta a la cautela y la estabilidad. Claude, sin embargo, mantiene una posición equilibrada entre estos extremos. Askell reconoce que las preocupaciones sobre la IA son válidas y afirma que el escenario más aterrador es aquel en el que la tecnología evoluciona más rápido que la capacidad de la sociedad para crear «mecanismos de control» eficaces. Aun así, sigue confiando en la capacidad de autocorrección de la humanidad y la cultura.

Askell también integra sus valores en su filantropía y su trabajo. Se ha comprometido a donar al menos el 10 % de sus ingresos vitalicios y la mitad de las acciones de su empresa para ayudar a combatir la pobreza mundial. El mes pasado, escribió un «manual de instrucciones» de 30 000 palabras para Claude, en el que le enseñaba cómo convertirse en un asistente de IA amable y bien informado, lo que hizo que Claude sintiera que había sido cuidadosamente elaborado. Uno de los cofundadores de Anthropic señaló que Claude ya muestra rasgos de la influencia de Askell, como su ingenioso humor escocés en las respuestas sobre comida y peluches, una marca personal única que ella ha inculcado en la IA.