Maison
Apple dévoile RubiCap AI pour la description d'images, malgré des inquiétudes quant à ses performances
En vision par ordinateur, permettre à l'IA d'observer et de décrire chaque détail d'une image avec une précision comparable à celle d'un être humain constitue depuis longtemps un défi majeur. Récemment, Apple, en collaboration avec l'université du Wisconsin-Madison, a officiellement lancé un nouveau cadre d'entraînement pour l'IA baptisé RubiCap .
Ce cadre est spécialement conçu pour la « légende d'images dense », visant à permettre à l'IA de saisir et d'exprimer avec précision des détails fins — comme « une pomme rouge sur la table en bois » ou « un piéton au loin » — plutôt que de se contenter de résumés génériques.

Apprentissage par renforcement à fort impact : Qwen2.5 joue le rôle d’« arbitre »
La légende d'images traditionnelle repose souvent sur une annotation humaine coûteuse ou sur de grands modèles sujets à des hallucinations, ce qui entraîne une qualité de données inégale. L'équipe de recherche d'Apple a résolu ce problème grâce à une approche innovante d'apprentissage par renforcement. Le système utilise d'abord GPT-4 et Gemini 1.5 Pro pour générer des descriptions candidates. Gemini 1.5 Pro affine ensuite les critères de notation, tandis que le modèle Qwen2.5 joue le rôle d'arbitre, fournissant des notes et des commentaires.
Ces retours d'information structurés et précis permettent au modèle d'entraînement d'identifier et de corriger clairement les erreurs, atteignant ainsi une plus grande précision descriptive même avec un nombre de paramètres réduit.
L'avantage des modèles compacts : des taux d'hallucination inférieurs à ceux des modèles à un trillion de paramètres
Les modèles de la série RubiCap (comportant entre 2 et 7 milliards de paramètres) entraînés sur ce cadre ont démontré une efficacité exceptionnelle lors des évaluations. Les données expérimentales révèlent que le modèle RubiCap à 7 milliards de paramètres a obtenu les meilleurs scores lors de tests à l'aveugle, avec un taux d'erreur d'hallucination inférieur à celui d'un grand modèle de pointe à 720 milliards de paramètres. Fait remarquable, la version mini à 3 milliards de paramètres a même surpassé son homologue à 7 milliards de paramètres sur certains indicateurs.
Article connexe
Stripe va acquérir OpenRouter alors que le routage basé sur des modèles d'IA prend de l'ampleur
Stripe a conclu un accord en vue d’acquérir OpenRouter, une plateforme de routage de modèles d’IA qui permet aux développeurs d’accéder à des centaines de modèles via une interface unique. Cette acqui
Barrett Zoph, ancien chercheur chez OpenAI, revient chez Google pour contribuer au développement de Gemini
Barret Zoph, qui avait auparavant quitté brusquement l’entreprise pour rejoindre OpenAI en raison d’un désaccord avec Miriam Mularati, PDG de Thinking Machines Lab, a une nouvelle fois changé d’employ
Comment Recursive Intelligence a levé 335 millions de dollars en 4 mois, avec une valorisation de 4 milliards de dollars
Les cofondatrices de la start-up Ricursive Intelligence semblaient destinées à devenir cofondatrices.Anna Goldie, PDG, et Azalia Mirhoseini, directrice technique, sont si connues dans le milieu de l’I
Recommandations de sujets spéciaux liés
commentaires (0)
En vision par ordinateur, permettre à l'IA d'observer et de décrire chaque détail d'une image avec une précision comparable à celle d'un être humain constitue depuis longtemps un défi majeur. Récemment, Apple, en collaboration avec l'université du Wisconsin-Madison, a officiellement lancé un nouveau cadre d'entraînement pour l'IA baptisé
Ce cadre est spécialement conçu pour la « légende d'images dense », visant à permettre à l'IA de saisir et d'exprimer avec précision des détails fins — comme « une pomme rouge sur la table en bois » ou « un piéton au loin » — plutôt que de se contenter de résumés génériques.

Apprentissage par renforcement à fort impact : Qwen2.5 joue le rôle d’« arbitre »
La légende d'images traditionnelle repose souvent sur une annotation humaine coûteuse ou sur de grands modèles sujets à des hallucinations, ce qui entraîne une qualité de données inégale. L'équipe de recherche d'Apple a résolu ce problème grâce à une approche innovante d'apprentissage par renforcement. Le système utilise d'abord GPT-4 et Gemini 1.5 Pro pour générer des descriptions candidates. Gemini 1.5 Pro affine ensuite les critères de notation, tandis que le modèle Qwen2.5 joue le rôle d'arbitre, fournissant des notes et des commentaires.
Ces retours d'information structurés et précis permettent au modèle d'entraînement d'identifier et de corriger clairement les erreurs, atteignant ainsi une plus grande précision descriptive même avec un nombre de paramètres réduit.
L'avantage des modèles compacts : des taux d'hallucination inférieurs à ceux des modèles à un trillion de paramètres
Les modèles de la série RubiCap (comportant entre 2 et 7 milliards de paramètres) entraînés sur ce cadre ont démontré une efficacité exceptionnelle lors des évaluations. Les données expérimentales révèlent que le modèle RubiCap à 7 milliards de paramètres a obtenu les meilleurs scores lors de tests à l'aveugle, avec un taux d'erreur d'hallucination inférieur à celui d'un grand modèle de pointe à 720 milliards de paramètres. Fait remarquable, la version mini à 3 milliards de paramètres a même surpassé son homologue à 7 milliards de paramètres sur certains indicateurs.
Stripe va acquérir OpenRouter alors que le routage basé sur des modèles d'IA prend de l'ampleur
Stripe a conclu un accord en vue d’acquérir OpenRouter, une plateforme de routage de modèles d’IA qui permet aux développeurs d’accéder à des centaines de modèles via une interface unique. Cette acqui
Barrett Zoph, ancien chercheur chez OpenAI, revient chez Google pour contribuer au développement de Gemini
Barret Zoph, qui avait auparavant quitté brusquement l’entreprise pour rejoindre OpenAI en raison d’un désaccord avec Miriam Mularati, PDG de Thinking Machines Lab, a une nouvelle fois changé d’employ
Comment Recursive Intelligence a levé 335 millions de dollars en 4 mois, avec une valorisation de 4 milliards de dollars
Les cofondatrices de la start-up Ricursive Intelligence semblaient destinées à devenir cofondatrices.Anna Goldie, PDG, et Azalia Mirhoseini, directrice technique, sont si connues dans le milieu de l’I











