Qu'y a-t-il à l'intérieur du LLM? Ai2 olmotrace «retracera» la source

Comprendre la connexion entre la sortie d'un grand modèle de langage (LLM) et ses données d'entraînement a toujours été un peu un casse-tête pour les TI d'entreprise. Cette semaine, l'Allen Institute for AI (Ai2) a lancé une nouvelle initiative open-source passionnante appelée OLMoTrace, qui vise à démystifier cette relation. En permettant aux utilisateurs de retracer les sorties des LLM jusqu'à leurs données d'entraînement originales, OLMoTrace s'attaque à l'un des plus grands obstacles à l'adoption de l'IA en entreprise : le manque de transparence dans les processus de prise de décision de l'IA.

OLMo, qui signifie Open Language Model, est le nom de la famille de LLM open-source d'Ai2. Vous pouvez essayer OLMoTrace avec le dernier modèle OLMo 2 32B sur le site Playground d'Ai2. De plus, le code open-source est disponible sur GitHub, donc tout le monde peut l'utiliser librement.

Ce qui distingue OLMoTrace des autres méthodes, comme celles axées sur les scores de confiance ou la génération augmentée par récupération, c'est qu'il offre une vue claire sur la manière dont les sorties du modèle sont liées aux vastes ensembles de données d'entraînement qui les ont façonnées. Jiacheng Liu, chercheur chez Ai2, a déclaré à VentureBeat : « Notre objectif est d'aider les utilisateurs à comprendre pourquoi les modèles de langage génèrent les réponses qu'ils produisent. »

Comment fonctionne OLMoTrace : Plus que de simples citations

Alors que des LLM comme Perplexity ou ChatGPT Search peuvent offrir des citations de sources, ils fonctionnent différemment d'OLMoTrace. Selon Liu, ces modèles utilisent la génération augmentée par récupération (RAG), qui vise à améliorer la qualité de la sortie du modèle en incorporant des sources supplémentaires au-delà des données d'entraînement. En revanche, OLMoTrace retrace la sortie du modèle directement vers le corpus d'entraînement sans s'appuyer sur RAG ou des documents externes.

L'outil identifie des séquences de texte uniques dans les sorties du modèle et les associe à des documents spécifiques des données d'entraînement. Lorsqu'une correspondance est trouvée, OLMoTrace non seulement met en évidence le texte pertinent, mais fournit également des liens vers le matériel source original. Cela permet aux utilisateurs de voir exactement où et comment le modèle a appris les informations qu'il utilise.

Au-delà des scores de confiance : Preuves tangibles de la prise de décision de l'IA

Les LLM génèrent généralement des sorties basées sur les poids du modèle, qui sont utilisés pour calculer un score de confiance. Plus le score est élevé, plus la sortie est supposée précise. Cependant, Liu estime que ces scores peuvent être trompeurs. « Les modèles peuvent être trop confiants dans ce qu'ils génèrent, et si vous leur demandez de générer un score, il est généralement gonflé », a-t-il expliqué. « C'est ce que les universitaires appellent une erreur de calibration—la confiance que les modèles affichent ne reflète pas toujours la précision réelle de leurs réponses. »

Au lieu de s'appuyer sur des scores potentiellement trompeurs, OLMoTrace offre des preuves directes des sources d'apprentissage du modèle, permettant aux utilisateurs de porter des jugements éclairés. « Ce que fait OLMoTrace, c'est vous montrer les correspondances entre les sorties du modèle et les documents d'entraînement », a déclaré Liu. « Grâce à l'interface, vous pouvez voir directement où se trouvent les points de correspondance et comment les sorties du modèle coïncident avec les documents d'entraînement. »

Comment OLMoTrace se compare aux autres approches de transparence

Ai2 n'est pas la seule organisation à travailler pour mieux comprendre les sorties des LLM. Anthropic a également mené des recherches, mais leur focus a été sur les opérations internes du modèle plutôt que sur ses données. Liu a souligné la différence : « Nous adoptons une approche différente de la leur. Nous retraçons directement le comportement du modèle, dans ses données d'entraînement, plutôt que de retracer les choses dans les neurones du modèle, les circuits internes, ce genre de choses. »

Cette approche rend OLMoTrace plus pratique pour les applications en entreprise, car elle ne nécessite pas une connaissance approfondie de l'architecture des réseaux neuronaux pour comprendre les résultats.

Applications de l'IA en entreprise : De la conformité réglementaire au débogage de modèles

Pour les entreprises déployant l'IA dans des secteurs réglementés comme la santé, la finance ou les services juridiques, OLMoTrace offre des avantages significatifs par rapport aux systèmes traditionnels en boîte noire. « Nous pensons qu'OLMoTrace aidera les utilisateurs d'entreprise à mieux comprendre ce qui est utilisé dans l'entraînement des modèles afin qu'ils puissent être plus confiants lorsqu'ils souhaitent s'appuyer dessus », a déclaré Liu. « Cela peut aider à augmenter la transparence et la confiance entre eux vis-à-vis de leurs modèles, ainsi que pour les clients concernant le comportement de leurs modèles. »

La technologie permet plusieurs capacités clés pour les équipes d'IA en entreprise :

• Vérification des faits des sorties du modèle par rapport aux sources originales
• Compréhension des origines des hallucinations
• Amélioration du débogage de modèles en identifiant les motifs problématiques
• Renforcement de la conformité réglementaire grâce à la traçabilité des données
• Renforcement de la confiance avec les parties prenantes grâce à une transparence accrue

L'équipe d'Ai2 a déjà mis OLMoTrace à bon usage. « Nous l'utilisons déjà pour améliorer nos données d'entraînement », a révélé Liu. « Lorsque nous avons construit OLMo 2 et commencé notre entraînement, grâce à OLMoTrace, nous avons découvert que certaines des données post-entraînement n'étaient pas bonnes. »

Ce que cela signifie pour l'adoption de l'IA en entreprise

Pour les entreprises visant à être à la pointe de l'adoption de l'IA, OLMoTrace marque une avancée significative vers des systèmes d'IA plus responsables. L'outil est disponible sous une licence open-source Apache 2.0, ce qui signifie que toute organisation ayant accès aux données d'entraînement de son modèle peut mettre en œuvre des capacités de traçage similaires.

« OLMoTrace peut fonctionner sur n'importe quel modèle, tant que vous avez les données d'entraînement du modèle », a noté Liu. « Pour les modèles entièrement ouverts où tout le monde a accès aux données d'entraînement du modèle, n'importe qui peut configurer OLMoTrace pour ce modèle et pour les modèles propriétaires, peut-être que certains fournisseurs ne veulent pas divulguer leurs données, ils peuvent également faire ce OLMoTrace en interne. »

À mesure que les cadres mondiaux de gouvernance de l'IA évoluent, des outils comme OLMoTrace, qui permettent la vérification et l'auditabilité, sont susceptibles de devenir des composants cruciaux des piles d'IA en entreprise, en particulier dans les industries réglementées où la transparence est de plus en plus requise. Pour les décideurs techniques évaluant les avantages et les inconvénients de l'adoption de l'IA, OLMoTrace offre une manière pratique de mettre en œuvre des systèmes d'IA plus fiables et explicables sans compromettre la puissance des grands modèles de langage.