IQ: une mesure erronée pour l'évaluation de l'IA

Lors d’un récent événement médiatique, le PDG d’OpenAI, Sam Altman, a partagé ses réflexions sur l’avancement rapide de l’« IQ » de l’IA. Il a déclaré : « Très approximativement, j’ai l’impression — ce n’est pas scientifiquement exact, c’est juste une intuition ou une réponse spirituelle — que chaque année, nous gagnons un écart-type d’IQ. » Altman n’est pas le seul à utiliser l’IQ comme mesure du progrès de l’IA ; des influenceurs sur les réseaux sociaux sont également connus pour soumettre des modèles d’IA à des tests d’IQ et partager les résultats.

Cependant, nombreux sont les experts qui soutiennent que l’utilisation de l’IQ pour évaluer les capacités de l’IA est non seulement inadéquate, mais aussi trompeuse. Sandra Wachter, chercheuse à Oxford spécialisée dans la technologie et la régulation, a déclaré à TechCrunch : « Il peut être très tentant d’utiliser les mêmes mesures que nous utilisons pour les humains pour décrire les capacités ou les progrès, mais c’est comme comparer des pommes avec des oranges. »

Lors de la conférence de presse, Altman semblait assimiler l’IQ à l’intelligence. Pourtant, les tests d’IQ mesurent davantage des performances relatives, et non absolues, de certains types d’intelligence. Ils sont généralement considérés comme de bons indicateurs du raisonnement logique et abstrait, mais ils sont insuffisants pour évaluer l’intelligence pratique — celle qui permet de comprendre comment faire fonctionner les choses. De plus, ils ne fournissent qu’un instantané des capacités d’une personne.

Wachter a souligné : « L’IQ est un outil pour mesurer les capacités humaines — un outil contesté, d’ailleurs — basé sur ce que les scientifiques pensent que l’intelligence humaine représente. Mais on ne peut pas utiliser la même mesure pour décrire les capacités de l’IA. Une voiture est plus rapide que les humains, et un sous-marin est meilleur en plongée. Mais cela ne signifie pas que les voitures ou les sous-marins surpassent l’intelligence humaine. Vous assimilez un aspect de la performance à l’intelligence humaine, qui est bien plus complexe. »

Les origines des tests d’IQ sont liées à l’eugénisme, une théorie discréditée visant à améliorer les populations par la reproduction sélective. Pour réussir ces tests, il faut une bonne mémoire de travail et une familiarité avec les normes culturelles occidentales, ce qui peut introduire des biais. Os Keyes, doctorant à l’Université de Washington étudiant l’IA éthique, estime que si un modèle d’IA réussit bien un test d’IQ, cela en dit plus sur les failles du test que sur les prouesses du modèle. Keyes a déclaré : « Ces tests sont assez faciles à manipuler si vous avez une mémoire pratiquement infinie et de la patience. Les tests d’IQ sont une manière très limitée de mesurer la cognition, la conscience et l’intelligence, ce que nous savons depuis avant l’invention de l’ordinateur numérique lui-même. »

L’IA peut avoir un avantage injuste dans les tests d’IQ, car les modèles disposent d’une mémoire et de connaissances vastes à portée de main. Ils sont souvent entraînés sur des données publiques du web, qui incluent de nombreuses questions de tests d’IQ. Mike Cook, chercheur à King’s College London spécialisé dans l’IA, a noté : « Les tests ont tendance à répéter des schémas très similaires — une manière presque infaillible d’augmenter votre IQ est de vous entraîner à passer des tests d’IQ, ce que chaque modèle a essentially fait. Quand j’apprends quelque chose, je ne l’ai pas injecté dans mon cerveau avec une clarté parfaite un million de fois, contrairement à l’IA, et je ne peux pas non plus le traiter sans bruit ni perte de signal. »

Cook a également souligné que les tests d’IQ, avec leurs biais inhérents, ont été conçus pour les humains afin d’évaluer des compétences générales de résolution de problèmes. Ils ne conviennent pas à l’IA, qui aborde les problèmes différemment. Il a déclaré : « Un corbeau peut être capable d’utiliser un outil pour récupérer une friandise dans une boîte, mais cela ne signifie pas qu’il Magdalen College. Quand je résous un problème mathématique, mon cerveau doit aussi gérer sa capacité à lire correctement les mots sur la page, à ne pas penser aux courses que je dois faire en rentrant chez moi, ou si la pièce est trop froide à l’instant. En d’autres termes, le cerveau humain doit composer avec bien plus de choses lorsqu’il résout un problème — n’importe quel problème, tests d’IQ ou autre — et il le fait avec beaucoup moins d’aide que l’IA. »

Heidy Khlaaf, scientifique en chef en IA à l’AI Now Institute, a déclaré à TechCrunch que nous avons besoin de meilleures façons de tester l’IA. Elle a dit : « Dans l’histoire de l’informatique, nous n’avons jamais comparé les capacités de calcul à celles des humains précisément parce que la nature du calcul signifie que les systèmes ont toujours été capables d’accomplir des tâches déjà au-delà des capacités humaines révélation récente, très contestée, qui entoure la controverse des repères toujours plus nombreux — et mouvants — créés pour évaluer les systèmes d’IA. »