¿Quién decide lo que te dice la IA? Campbell Brown, exdirectora de noticias de Meta, da su opinión.

A lo largo de su carrera, Campbell Brown ha buscado siempre la información veraz: primero como reconocida periodista de televisión y, después, como la primera y única directora de noticias de Facebook. Ahora, mientras la IA transforma la forma en que la gente consume información, ve cómo la historia amenaza con repetirse. Esta vez, no va a esperar a que otros lo solucionen.

Su empresa, Forum AI —sobre la que habló recientemente con Tim Fernholz, de TechCrunch, en una velada de StrictlyVC en San Francisco— evalúa el rendimiento de los modelos base en lo que ella denomina «temas de alto riesgo»: geopolítica, salud mental, finanzas y contratación. Se trata de temas en los que «no hay respuestas claras de sí o no, sino que son turbios, matizados y complejos».

El enfoque consiste en encontrar a los principales expertos del mundo, pedirles que diseñen puntos de referencia y, a continuación, formar a jueces de IA para evaluar los modelos a gran escala. Para el trabajo de geopolítica de Forum AI, Brown ha reclutado a Niall Ferguson, Fareed Zakaria, el exsecretario de Estado Tony Blinken, el ex presidente de la Cámara de Representantes Kevin McCarthy y Anne Neuberger, quien dirigió la ciberseguridad bajo la administración Obama. El objetivo es lograr un consenso de aproximadamente el 90 % entre los jueces de IA y esos expertos humanos, un umbral que, según ella, Forum AI ya ha alcanzado.

Brown remonta el origen de Forum AI —fundada hace 17 meses en Nueva York— a un momento concreto. «Estaba en Meta cuando ChatGPT se lanzó al público por primera vez», recuerda, «y recuerdo darme cuenta poco después de que este iba a ser el embudo por el que fluiría toda la información. Y no es nada bueno». Las implicaciones para sus propios hijos hicieron que aquel momento se sintiera casi existencial. «Mis hijos van a ser realmente tontos si no averiguamos cómo solucionar esto», recuerda haber pensado.

Lo que más le frustraba era que la precisión no parecía ser una prioridad para nadie. Las empresas de modelos de base, dijo, están «extremadamente centradas en la programación y las matemáticas», mientras que las noticias y la información son más difíciles. Pero más difícil, argumentó, no significa opcional.

De hecho, cuando Forum AI comenzó a evaluar los modelos líderes, los resultados no fueron precisamente alentadores. Citó el caso de Gemini, que extraía información de sitios web del Partido Comunista Chino «para historias que no tienen nada que ver con China», y señaló un sesgo político de izquierdas en casi todos los modelos. También abundan los fallos más sutiles, dijo, como la falta de contexto, la falta de perspectivas y la creación de argumentos falaces sin reconocerlo. «Queda un largo camino por recorrer», dijo. «Pero también creo que hay algunas soluciones muy sencillas que mejorarían enormemente los resultados».

Brown pasó años en Facebook observando lo que ocurre cuando una plataforma se optimiza para métricas erróneas. «Fracasamos en muchas de las cosas que intentamos», le dijo a Fernholz. El programa de verificación de datos que creó ya no existe. La lección —aunque las redes sociales hayan hecho la vista gorda— es que la optimización para la participación ha sido perjudicial para la sociedad y ha dejado a mucha gente menos informada.

Su esperanza es que la IA pueda romper ese ciclo. «En este momento podría ir en cualquier dirección», dijo; las empresas podrían dar a los usuarios lo que quieren, o podrían «dar a la gente lo que es real, lo que es honesto y lo que es veraz». Reconoció que la versión idealista —la IA optimizada para la verdad— podría parecer ingenua. Pero cree que las empresas podrían ser un aliado inesperado en este caso. Las empresas que utilizan la IA para decisiones crediticias, préstamos, seguros y contratación se preocupan por la responsabilidad, y «van a querer que optimices para hacerlo bien».

Esa demanda empresarial es también en lo que Forum AI está apostando su negocio, aunque convertir el interés por el cumplimiento normativo en ingresos constantes sigue siendo un reto, sobre todo teniendo en cuenta que gran parte del mercado actual sigue conformándose con auditorías de casillas y puntos de referencia estandarizados que Brown considera inadecuados.

El panorama del cumplimiento normativo, dijo, es «una broma». Cuando la ciudad de Nueva York aprobó la primera ley contra la discriminación en la contratación que exigía auditorías de IA, el contralor del estado descubrió que más de la mitad presentaba infracciones que habían pasado desapercibidas. Una evaluación real, dijo, requiere experiencia en el ámbito para abordar no solo los escenarios conocidos, sino también los casos extremos que «pueden meterte en problemas en los que la gente no piensa». Y ese trabajo lleva tiempo. «Los generalistas inteligentes no van a dar la talla».

Brown —cuya empresa recaudó el otoño pasado 3 millones de dólares en una ronda liderada por Lerer Hippeau— se encuentra en una posición única para describir la desconexión entre la imagen que la industria de la IA tiene de sí misma y la realidad para la mayoría de los usuarios. «Se oye a los líderes de las grandes empresas tecnológicas decir: “Esta tecnología va a cambiar el mundo”, “te va a dejar sin trabajo”, “va a curar el cáncer”», afirmó. «Pero luego, para una persona normal que solo utiliza un chatbot para hacer preguntas básicas, sigue recibiendo un montón de respuestas confusas y erróneas».

La confianza en la IA se encuentra en niveles extraordinariamente bajos, y ella cree que el escepticismo está, en muchos casos, justificado. «En Silicon Valley se está dando una conversación en torno a una cosa, y entre los consumidores se está dando una conversación totalmente diferente».