Progrès des modèles de raisonnement en IA pourrait stagner d'ici 2026, selon une étude d'Epoch AI

Une étude d'Epoch AI, un institut de recherche sur l'IA à but non lucratif, indique que le secteur de l'IA pourrait bientôt rencontrer des défis pour obtenir des améliorations significatives des performances des modèles de raisonnement en IA. Le rapport prévoit que les avancées de ces modèles pourraient ralentir au cours de l'année prochaine.

Les modèles de raisonnement avancés, tels que l'o3 d'OpenAI, ont récemment entraîné des améliorations notables dans les benchmarks d'IA, en particulier dans les tâches de mathématiques et de codage. Ces modèles exploitent une puissance de calcul accrue pour améliorer leurs performances, bien que cela entraîne souvent des temps de traitement plus longs par rapport aux modèles traditionnels.

Les modèles de raisonnement sont créés en entraînant d'abord un modèle standard sur de vastes ensembles de données, suivi d'un apprentissage par renforcement, qui fournit au modèle des retours pour affiner ses capacités de résolution de problèmes.

Selon Epoch, les principaux laboratoires d'IA comme OpenAI n'ont pas encore utilisé massivement les ressources de calcul pour la phase d'apprentissage par renforcement du développement des modèles de raisonnement.

Cette tendance évolue. OpenAI a révélé qu'il a utilisé environ dix fois plus de puissance de calcul pour entraîner l'o3 par rapport à son prédécesseur, l'o1, Epoch suggérant que la majeure partie de celle-ci a été allouée à l'apprentissage par renforcement. Le chercheur d'OpenAI, Dan Roberts, a récemment indiqué que l'entreprise prévoit de prioriser davantage l'apprentissage par renforcement, en utilisant potentiellement encore plus de ressources de calcul que pour l'entraînement initial du modèle.

Cependant, Epoch note qu'il existe une limite à la quantité de puissance de calcul qui peut être appliquée à l'apprentissage par renforcement.

Josh You, analyste chez Epoch et auteur de l'étude, note que les gains de performance des entraînements de modèles d'IA standards quadruplent actuellement chaque année, tandis que les gains de l'apprentissage par renforcement augmentent de dix fois tous les trois à cinq mois. Il prévoit que les progrès des modèles de raisonnement s'aligneront probablement sur les avancées globales de l'IA d'ici 2026.

Présentation à TechCrunch Sessions : AI

Réservez votre place à TC Sessions : AI pour présenter vos innovations à plus de 1 200 décideurs sans vous ruiner. Disponible jusqu'au 9 mai ou jusqu'à épuisement des places.

Présentation à TechCrunch Sessions : AI

Réservez votre place à TC Sessions : AI pour présenter vos innovations à plus de 1 200 décideurs sans vous ruiner. Disponible jusqu'au 9 mai ou jusqu'à épuisement des places.

L'étude d'Epoch repose sur certaines hypothèses et intègre des déclarations publiques des leaders de l'industrie de l'IA. Elle souligne également que la mise à l'échelle des modèles de raisonnement pourrait rencontrer des obstacles au-delà des limites de calcul, tels que des coûts de recherche élevés.

« Les coûts de recherche continus pourraient limiter l'évolutivité des modèles de raisonnement », explique You. « Puisque la mise à l'échelle rapide du calcul est un facteur clé de leur progrès, cela mérite une attention particulière. »

Tout signe indiquant que les modèles de raisonnement pourraient atteindre un plafond de performance prochainement pourrait susciter des inquiétudes dans l'industrie de l'IA, qui a fortement investi dans leur développement. Les recherches indiquent déjà que ces modèles, malgré leurs coûts opérationnels élevés, présentent des défauts notables, y compris une plus grande tendance à produire des résultats inexacts par rapport à certains modèles traditionnels.