Les AIS de Deepseek découvrent les vrais désirs humains

La percée de Deepseek dans les modèles de récompense de l'IA: améliorer le raisonnement et la réponse de l'IA

La startup de l'IA chinoise Deepseek, en collaboration avec l'Université Tsinghua, a atteint une étape importante dans la recherche sur l'IA. Leur approche innovante des modèles de récompense de l'IA promet de révolutionner la façon dont les systèmes d'IA apprennent des préférences humaines, conduisant potentiellement à des systèmes d'IA plus réactifs et alignés. Cette percée, détaillée dans leur article "Échelle de temps d'inférence pour la modélisation des récompenses généralistes", présente une méthode qui surpasse les techniques de modélisation de récompense existantes.

Comprendre les modèles de récompense AI

Les modèles de récompense AI jouent un rôle crucial dans le domaine de l'apprentissage par le renforcement, en particulier pour les modèles de langues importants (LLM). Ces modèles agissent comme des éducateurs numériques, fournissant des commentaires qui orientent les systèmes d'IA vers les résultats qui s'alignent sur les désirs humains. L'article Deepseek souligne que «la modélisation des récompenses est un processus qui guide un LLM vers les préférences humaines», mettant en évidence sa signification à mesure que les applications IA se développent dans des domaines plus complexes.

Les modèles de récompense traditionnels excellent dans des scénarios avec des critères clairs et vérifiables mais faiblir lorsqu'ils sont confrontés aux demandes diverses et nuancées des domaines généraux. L'innovation de Deepseek aborde ce problème de front, visant à affiner la précision des signaux de récompense dans divers contextes.

Approche innovante de Deepseek

La méthode de Deepseek intègre deux nouvelles techniques:

1. Modélisation générative des récompenses (GRM): Cette approche permet une plus grande flexibilité et évolutivité pendant l'inférence, offrant une représentation plus détaillée des récompenses à travers le langage, plutôt que de s'appuyer sur des méthodes scalaires ou semi-écailles plus simples.
2. Tunage de la critique auto-pri-souliplized (SPCT): Cette méthode d'apprentissage améliore les GRM en favorisant la génération de récompenses évolutives grâce à l'apprentissage du renforcement en ligne, en générant dynamiquement des principes qui s'alignent sur l'entrée et les réponses.

Selon Zijun Liu, chercheur de l'Université Tsinghua et Deepseek-AI, cette double approche permet de générer des «principes à générer sur la base de la requête et des réponses d'entrée, alignant l'adaptation le processus de génération de récompenses». De plus, la technique prend en charge la «mise à l'échelle du temps d'inférence», permettant des améliorations des performances en tirant parti des ressources de calcul supplémentaires au moment de l'inférence.

Impact sur l'industrie de l'IA

L'avancement de Deepseek arrive à un moment charnière dans le développement de l'IA, car l'apprentissage du renforcement devient de plus en plus intégré pour améliorer les modèles de langue importants. Les implications de cette percée sont profondes:

• Amélioration des commentaires de l'IA: les modèles de récompense plus précis conduisent à une rétroaction plus précise, affinant les réponses de l'IA au fil du temps.
• Adaptabilité accrue: la capacité d'échelle des performances pendant l'inférence permet aux systèmes d'IA de s'adapter à des environnements de calcul variables.
• Application plus large: l'amélioration de la modélisation des récompenses dans les domaines généraux élargit les applications potentielles des systèmes d'IA.
• Utilisation efficace des ressources: la méthode de Deepseek suggère que l'amélioration de la mise à l'échelle du temps d'inférence peut être plus efficace que d'augmenter la taille du modèle pendant la formation, permettant aux modèles plus petits d'obtenir des performances comparables avec les bonnes ressources.

L'influence croissante de Deepseek

Depuis sa fondation en 2023 par l'entrepreneur Liang Wenfeng, Deepseek a rapidement augmenté en importance dans le paysage mondial de l'IA. La récente mise à niveau de l'entreprise vers son modèle V3 (Deepseek-V3-0324) possède "des capacités de raisonnement améliorées, un développement Web frontal optimisé et amélioré la maîtrise de l'écriture chinoise". Engagé dans l'IA open-source, Deepseek a publié cinq référentiels de code, favorisant la collaboration et l'innovation dans la communauté.

Alors que les rumeurs tourbillonnent sur la libération potentielle de Deepseek-R2, le successeur de leur modèle de raisonnement R1, la société reste étroite sur les chaînes officielles.

L'avenir des modèles de récompense AI

Deepseek prévoit d'ouvrir ses modèles GRM, bien qu'une chronologie spécifique reste non divulguée. Cette décision devrait accélérer les progrès de la modélisation des récompenses en permettant une expérimentation et une collaboration plus larges.

Alors que l'apprentissage du renforcement continue de façonner l'avenir de l'IA, le travail de Deepseek avec l'Université Tsinghua représente un pas en avant significatif. En se concentrant sur la qualité et l'évolutivité de la rétroaction, ils relèvent l'un des principaux défis de la création de systèmes d'IA qui comprennent et s'alignent mieux avec les préférences humaines.

Cette concentration sur la façon et le moment où les modèles apprennent, plutôt que sur leur taille, souligne l'importance des approches innovantes dans le développement de l'IA. Les efforts de Deepseek réduisent la division mondiale de la technologie et repoussent les limites de ce que l'IA peut atteindre.