Maison
Baidu lance Ernie 5.1, réduisant les coûts de pré-entraînement de 94 % et se classant parmi les quatre premiers au niveau mondial
Baidu a officiellement lancé son modèle linguistique de nouvelle génération, Ernie 5.1, le 11 mai 2026. S'appuyant sur les bases de pré-entraînement d'Ernie 5.0 publiées plus tôt en janvier — un modèle comportant 2,4 billions de paramètres —, cette nouvelle version a été développée à l'aide d'un « cadre d'entraînement élastique en une seule fois » innovant. Cette approche a permis à Baidu d'optimiser plusieurs tailles de modèles en un seul cycle d'entraînement, réduisant ainsi les coûts de pré-entraînement d'Ernie 5.1 à seulement 6 % de ceux des modèles comparables.

Au 9 mai, Ernie 5.1 occupait la quatrième place mondiale et se classait premier parmi les modèles chinois au classement Arena Search avec un score de 1 223 points, démontrant ainsi son efficacité exceptionnelle et ses performances bien équilibrées.
Sur le plan architectural, Ernie 5.1 se caractérise par une conception en sous-modèles dont la profondeur, la largeur et le nombre d’experts actifs sont ajustables. Son nombre total de paramètres ne représente qu’un tiers de celui de son prédécesseur, et le nombre de paramètres effectifs activés par requête a été réduit de moitié environ. Pour remédier à « l’effet de balancier » courant dans l’entraînement multiconcompétences, Baidu a mis en œuvre un processus de post-entraînement en quatre phases. Cette méthode utilise un code d'entraînement spécialisé en parallèle, l'inférence et des modèles d'experts proxy, combinés à la distillation de stratégies et à l'apprentissage par renforcement, résolvant ainsi efficacement le défi sectoriel consistant à trouver un équilibre entre les capacités de programmation et le raisonnement créatif. De plus, une infrastructure d'apprentissage par renforcement remaniée dissocie les mises à jour du modèle, la génération de réponses et l'évaluation. Associée à une bibliothèque de calculs à faible précision standardisée, cela améliore considérablement la stabilité de l'entraînement à grande échelle.

Article connexe
PDG de DeepMind, Hassabis : Je dors six heures par jour et je me sens généralement plein d’énergie vers 1 h du matin.
Fortune a récemment publié une interview avec Demis Hassabis, PDG de Google DeepMind, révélant son approche non conventionnelle du repos et de la productivité. Hassabis a divulgué qu’il dort très peu, structurant ses heures d’éveil en deux blocs de t
OpenAI et Anthropic se disputent des parts de marché malgré des résultats en deçà des attentes
Bien que des informations récentes laissent entendre qu’OpenAI n’aurait pas atteint ses objectifs de chiffre d’affaires, ce qui a pesé sur les valeurs technologiques ce mardi, les investisseurs privés
Conformité des véhicules autonomes en Californie : une nouvelle ère marquée par les amendes, les zones de géolocalisation et 1 million de miles
Guident exploite une navette AuveTech dans le sud de la Floride, gérant un parcours de quatre miles à West Palm Beach et un parcours d’un mile à Boca Raton grâce à sa technologie de surveillance à dis
Recommandations de sujets spéciaux liés
commentaires (0)
Baidu a officiellement lancé son modèle linguistique de nouvelle génération, Ernie 5.1, le 11 mai 2026. S'appuyant sur les bases de pré-entraînement d'Ernie 5.0 publiées plus tôt en janvier — un modèle comportant 2,4 billions de paramètres —, cette nouvelle version a été développée à l'aide d'un « cadre d'entraînement élastique en une seule fois » innovant. Cette approche a permis à Baidu d'optimiser plusieurs tailles de modèles en un seul cycle d'entraînement, réduisant ainsi les coûts de pré-entraînement d'Ernie 5.1 à seulement 6 % de ceux des modèles comparables.

Au 9 mai, Ernie 5.1 occupait la quatrième place mondiale et se classait premier parmi les modèles chinois au classement Arena Search avec un score de 1 223 points, démontrant ainsi son efficacité exceptionnelle et ses performances bien équilibrées.
Sur le plan architectural, Ernie 5.1 se caractérise par une conception en sous-modèles dont la profondeur, la largeur et le nombre d’experts actifs sont ajustables. Son nombre total de paramètres ne représente qu’un tiers de celui de son prédécesseur, et le nombre de paramètres effectifs activés par requête a été réduit de moitié environ. Pour remédier à « l’effet de balancier » courant dans l’entraînement multiconcompétences, Baidu a mis en œuvre un processus de post-entraînement en quatre phases. Cette méthode utilise un code d'entraînement spécialisé en parallèle, l'inférence et des modèles d'experts proxy, combinés à la distillation de stratégies et à l'apprentissage par renforcement, résolvant ainsi efficacement le défi sectoriel consistant à trouver un équilibre entre les capacités de programmation et le raisonnement créatif. De plus, une infrastructure d'apprentissage par renforcement remaniée dissocie les mises à jour du modèle, la génération de réponses et l'évaluation. Associée à une bibliothèque de calculs à faible précision standardisée, cela améliore considérablement la stabilité de l'entraînement à grande échelle.

PDG de DeepMind, Hassabis : Je dors six heures par jour et je me sens généralement plein d’énergie vers 1 h du matin.
Fortune a récemment publié une interview avec Demis Hassabis, PDG de Google DeepMind, révélant son approche non conventionnelle du repos et de la productivité. Hassabis a divulgué qu’il dort très peu, structurant ses heures d’éveil en deux blocs de t
OpenAI et Anthropic se disputent des parts de marché malgré des résultats en deçà des attentes
Bien que des informations récentes laissent entendre qu’OpenAI n’aurait pas atteint ses objectifs de chiffre d’affaires, ce qui a pesé sur les valeurs technologiques ce mardi, les investisseurs privés











