Qu'y a-t-il à l'intérieur du LLM? Ai2 olmotrace «retracera» la source

La compréhension de la connexion entre la sortie d'un modèle grand langage (LLM) et de ses données de formation a toujours été un peu un puzzle pour l'interprise. Cette semaine, l'Institut Allen pour l'IA (AI2) a lancé une nouvelle initiative open source passionnante appelée Olmotrace, qui vise à démystifier cette relation. En permettant aux utilisateurs de retracer les sorties LLM à leurs données de formation d'origine, Olmotrace aborde l'un des plus grands obstacles à l'adoption de l'IA d'entreprise: le manque de transparence dans les processus de prise de décision d'IA.

Olmo, qui signifie un modèle de langue ouverte, est le nom de la famille de LLMS open-source d'AI2. Vous pouvez essayer Olmotrace avec le dernier modèle OLMO 2 32B sur le site de jeu d'AI2. De plus, le code open-source est à gagner sur GitHub, afin que tout le monde puisse l'utiliser librement.

Ce qui distingue Olmotrace des autres méthodes, comme celles qui se concentrent sur les scores de confiance ou la génération auprès de la récupération, c'est qu'il fournit une vue claire sur la façon dont les sorties du modèle se rapportent aux vastes ensembles de données de formation qui les ont façonnés. Jiacheng Liu, chercheur à AI2, a déclaré à VentureBeat: "Notre objectif est d'aider les utilisateurs à comprendre pourquoi les modèles de langage génèrent les réponses qu'ils font."

Comment fonctionne Olmotrace: plus que des citations

Bien que les LLM comme la recherche perplexité ou Chatgpt puissent offrir des citations de source, elles fonctionnent différemment d'Olmotrace. Selon Liu, ces modèles utilisent la génération (RAG) (RAG) de la récupération, qui vise à améliorer la qualité de la sortie du modèle en incorporant des sources supplémentaires au-delà des données de formation. D'un autre côté, Olmotrace retrace la sortie du modèle directement au corpus de formation sans compter sur le chiffon ou les documents externes.

L'outil identifie des séquences de texte uniques dans le modèle sorties et les correspond à des documents spécifiques à partir des données d'entraînement. Lorsqu'une correspondance est trouvée, Olmotrace met non seulement en évidence le texte pertinent, mais fournit également des liens vers le matériau source d'origine. Cela permet aux utilisateurs de voir exactement où et comment le modèle a appris les informations qu'il utilise.

Au-delà des scores de confiance: preuves tangibles de la prise de décision de l'IA

Les LLM génèrent généralement des sorties en fonction des poids du modèle, qui sont utilisés pour calculer un score de confiance. Plus le score est élevé, plus la sortie est censée être précise. Cependant, Liu pense que ces scores peuvent être trompeurs. "Les modèles peuvent être trop confiants des éléments qu'ils génèrent, et si vous leur demandez de générer un score, il est généralement gonflé", a-t-il expliqué. "C'est ce que les universitaires appellent une erreur d'étalonnage - la confiance que la sortie des modèles ne reflète pas toujours la précision de leurs réponses."

Au lieu de s'appuyer sur des scores potentiellement trompeurs, Olmotrace offre des preuves directes des sources d'apprentissage du modèle, permettant aux utilisateurs de porter des jugements éclairés. "Ce que fait Olmotrace vous montre les correspondances entre les sorties du modèle et les documents de formation", a déclaré Liu. "Grâce à l'interface, vous pouvez voir directement où se trouvent les points de correspondance et comment les sorties du modèle coïncident avec les documents d'entraînement."

Comment Olmotrace se compare à d'autres approches de transparence

AI2 n'est pas la seule organisation à mieux comprendre les résultats LLM. Anthropic a également mené des recherches, mais leur objectif s'est concentré sur les opérations internes du modèle plutôt que sur ses données. Liu a souligné la différence: "Nous prenons une approche différente de leur part. Nous traçons directement le comportement du modèle, dans leurs données d'entraînement, au lieu de tracer les choses dans les neurones modèles, les circuits internes, ce genre de chose."

Cette approche rend Olmotrace plus pratique pour les applications d'entreprise, car elle ne nécessite pas une connaissance approfondie de l'architecture du réseau neuronal pour comprendre les résultats.

Applications de l'IA de l'entreprise: de la conformité réglementaire au débogage des modèles

Pour les entreprises qui déploient l'IA dans des secteurs réglementés comme les services de santé, les finances ou les services juridiques, Olmotrace offre des avantages significatifs par rapport aux systèmes traditionnels de la boîte noire. "Nous pensons que Olmotrace aidera les utilisateurs d'entreprise et d'entreprise à mieux comprendre ce qui est utilisé dans la formation des modèles afin qu'ils puissent être plus confiants lorsqu'ils veulent s'appuyer sur eux", a déclaré Liu. "Cela peut aider à augmenter la transparence et la confiance entre eux de leurs modèles, ainsi que pour les clients de leurs comportements de modèle."

La technologie permet plusieurs capacités clés pour les équipes d'IA d'entreprise:

• Production du modèle de vérification des faits contre les sources d'origine
• Comprendre les origines des hallucinations
• Améliorer le débogage du modèle en identifiant les modèles problématiques
• Amélioration de la conformité réglementaire grâce à la traçabilité des données
• Construire la confiance avec les parties prenantes grâce à une transparence accrue

L'équipe AI2 a déjà mis à profit Olmotrace. "Nous l'utilisons déjà pour améliorer nos données de formation", a révélé Liu. "Lorsque nous avons construit Olmo 2 et que nous avons commencé notre formation, via Olmotrace, nous avons découvert qu'en fait, certaines des données post-entraînement n'étaient pas bonnes."

Ce que cela signifie pour l'adoption de l'IA d'entreprise

Pour les entreprises visant à être à l'avant-garde de l'adoption de l'IA, Olmotrace marque une progression importante vers des systèmes d'IA plus responsables. L'outil est disponible sous une licence open source Apache 2.0, ce qui signifie que toute organisation ayant accès aux données de formation de son modèle peut implémenter des capacités de traçage similaires.

"Olmotrace peut fonctionner sur n'importe quel modèle, tant que vous avez les données de formation du modèle", a noté Liu. "Pour les modèles entièrement ouverts où tout le monde a accès aux données de formation du modèle, n'importe qui peut configurer Olmotrace pour ce modèle et pour les modèles propriétaires, peut-être que certains fournisseurs ne veulent pas publier leurs données, ils peuvent également faire cet olmotrace en interne."

À mesure que les cadres de gouvernance d'IA mondiaux évoluent, des outils comme Olmotrace qui permettent la vérification et l'auditabilité deviennent susceptibles de devenir des composants cruciaux des piles d'IA d'entreprise, en particulier dans les industries réglementées où la transparence est de plus en plus nécessaire. Pour les décideurs techniques qui envisagent les avantages et les inconvénients de l'adoption de l'IA, Olmotrace fournit un moyen pratique de mettre en œuvre des systèmes d'IA plus fiables et explicables sans compromettre la puissance des modèles de grands langues.