IQ: una medida defectuosa para la evaluación de IA

En un reciente evento de prensa, el CEO de OpenAI, Sam Altman, compartió sus pensamientos sobre el rápido avance del "CI" de la IA. Mencionó: "Muy aproximadamente, me parece que —esto no es científicamente exacto, es solo una sensación o respuesta espiritual— cada año avanzamos una desviación estándar de CI". Altman no está solo en usar el CI como una medida del progreso de la IA; los influencers de redes sociales también han sido conocidos por someter a modelos de IA a pruebas de CI y compartir los resultados.

Sin embargo, muchos expertos argumentan que usar el CI para medir las capacidades de la IA no solo es inadecuado, sino también engañoso. Sandra Wachter, investigadora en Oxford enfocada en tecnología y regulación, dijo a TechCrunch: "Puede ser muy tentador usar las mismas medidas que usamos para los humanos para describir capacidades o progreso, pero esto es como comparar manzanas con naranjas".

Durante la conferencia de prensa, Altman pareció equiparar el CI con la inteligencia. Sin embargo, las pruebas de CI son más sobre medidas relativas, no absolutas, de tipos específicos de inteligencia. Generalmente se consideran buenos indicadores de lógica y razonamiento abstracto, pero son insuficientes cuando se trata de inteligencia práctica, del tipo que te ayuda a resolver cómo hacer que las cosas funcionen. Además, solo ofrecen una instantánea de las habilidades de alguien.

Wachter señaló: "El CI es una herramienta para medir las capacidades humanas —una controvertida, además— basada en lo que los científicos creen que parece la inteligencia humana. Pero no puedes usar la misma medida para describir las capacidades de la IA. Un coche es más rápido que los humanos, y un submarino es mejor para bucear. Pero esto no significa que los coches o submarinos superen la inteligencia humana. Estás equiparando un aspecto del rendimiento con la inteligencia humana, que es mucho más compleja".

Los orígenes de las pruebas de CI están vinculados a la eugenesia, una teoría desacreditada sobre mejorar a las personas mediante la cría selectiva. Para obtener buenos resultados en estas pruebas, necesitas una buena memoria de trabajo y familiaridad con las normas culturales occidentales, lo que puede introducir sesgos. Os Keyes, candidato a doctorado en la Universidad de Washington que estudia la ética de la IA, cree que si un modelo de IA obtiene buenos resultados en una prueba de CI, eso dice más sobre las deficiencias de la prueba que sobre la destreza del modelo. Keyes dijo: "Estas pruebas son bastante fáciles de manipular si tienes una cantidad prácticamente infinita de memoria y paciencia. Las pruebas de CI son una forma muy limitada de medir la cognición, la sensibilidad y la inteligencia, algo que hemos sabido desde antes de la invención de la computadora digital".

La IA podría tener una ventaja injusta en las pruebas de CI porque los modelos tienen una vasta memoria y conocimiento al alcance de la mano. A menudo se entrenan con datos públicos de la web, que incluyen muchas preguntas de pruebas de CI. Mike Cook, investigador en el King's College de Londres especializado en IA, señaló: "Las pruebas tienden a repetir patrones muy similares: una forma bastante infalible de aumentar tu CI es practicar haciendo pruebas de CI, que es esencialmente lo que cada modelo ha hecho. Cuando aprendo algo, no lo recibo en mi cerebro con perfecta claridad un millón de veces, a diferencia de la IA, y tampoco puedo procesarlo sin ruido o pérdida de señal".

Cook también señaló que las pruebas de CI, con sus sesgos inherentes, fueron diseñadas para que los humanos evalúen habilidades generales de resolución de problemas. No son adecuadas para la IA, que aborda los problemas de manera diferente. Dijo: "Un cuervo podría ser capaz de usar una herramienta para recuperar un premio de una caja, pero eso no significa que pueda inscribirse en Harvard. Cuando resuelvo un problema matemático, mi cerebro también está lidiando con su capacidad para leer correctamente las palabras en la página, para no pensar en las compras que debo hacer de camino a casa, o si hace demasiado frío en la habitación en este momento. En otras palabras, los cerebros humanos lidian con muchas más cosas cuando resuelven un problema —cualquier problema, pruebas de CI u otros— y lo hacen con mucha menos ayuda que la IA".

Heidy Khlaaf, científica jefe de IA en el AI Now Institute, dijo a TechCrunch que necesitamos mejores formas de probar la IA. Afirmó: "En la historia de la computación, no hemos comparado las habilidades computacionales con las de los humanos precisamente porque la naturaleza de la computación significa que los sistemas siempre han podido realizar tareas que ya están más allá de la capacidad humana. Esta idea de comparar directamente el rendimiento de los sistemas con las habilidades humanas es un fenómeno reciente que es muy controvertido, y lo que rodea la controversia son los puntos de referencia en constante expansión —y cambio— que se crean para evaluar los sistemas de IA".