¿Qué hay dentro del LLM? Ai2 Olmotrace 'rastreará' la fuente

Comprender la conexión entre la salida de un modelo de lenguaje grande (LLM) y sus datos de entrenamiento siempre ha sido un poco un rompecabezas para la TI empresarial. Esta semana, el Allen Institute for AI (Ai2) lanzó una emocionante nueva iniciativa de código abierto llamada OLMoTrace, que busca desmitificar esta relación. Al permitir a los usuarios rastrear las salidas de los LLM hasta sus datos de entrenamiento originales, OLMoTrace aborda uno de los mayores obstáculos para la adopción de la IA empresarial: la falta de transparencia en los procesos de toma de decisiones de la IA.

OLMo, que significa Modelo de Lenguaje Abierto, es el nombre de la familia de LLMs de código abierto de Ai2. Puedes probar OLMoTrace con el último modelo OLMo 2 32B en el sitio Playground de Ai2. Además, el código de fuente abierta está disponible en GitHub, por lo que cualquiera puede usarlo libremente.

Lo que distingue a OLMoTrace de otros métodos, como aquellos que se centran en puntajes de confianza o generación aumentada por recuperación, es que proporciona una visión clara de cómo las salidas del modelo se relacionan con los vastos conjuntos de datos de entrenamiento que los formaron. Jiacheng Liu, un investigador de Ai2, dijo a VentureBeat: "Nuestro objetivo es ayudar a los usuarios a entender por qué los modelos de lenguaje generan las respuestas que generan."

Cómo funciona OLMoTrace: Más que solo citas

Mientras que LLMs como Perplexity o ChatGPT Search pueden ofrecer citas de fuentes, operan de manera diferente a OLMoTrace. Según Liu, estos modelos utilizan generación aumentada por recuperación (RAG), que busca mejorar la calidad de la salida del modelo incorporando fuentes adicionales más allá de los datos de entrenamiento. Por otro lado, OLMoTrace rastrea la salida del modelo directamente hasta el corpus de entrenamiento sin depender de RAG o documentos externos.

La herramienta identifica secuencias de texto únicas en las salidas del modelo y las empareja con documentos específicos de los datos de entrenamiento. Cuando se encuentra una coincidencia, OLMoTrace no solo resalta el texto relevante, sino que también proporciona enlaces al material de la fuente original. Esto permite a los usuarios ver exactamente dónde y cómo el modelo aprendió la información que utiliza.

Más allá de los puntajes de confianza: Evidencia tangible de la toma de decisiones de la IA

Los LLMs normalmente generan salidas basadas en los pesos del modelo, que se utilizan para calcular un puntaje de confianza. Cuanto mayor es el puntaje, supuestamente más precisa es la salida. Sin embargo, Liu cree que estos puntajes pueden ser engañosos. "Los modelos pueden estar demasiado confiados en lo que generan, y si les pides que generen un puntaje, suele estar inflado," explicó. "Eso es lo que los académicos llaman un error de calibración: la confianza que los modelos muestran no siempre refleja cuán precisas son realmente sus respuestas."

En lugar de depender de puntajes potencialmente engañosos, OLMoTrace ofrece evidencia directa de las fuentes de aprendizaje del modelo, permitiendo a los usuarios hacer juicios informados. "Lo que hace OLMoTrace es mostrar las coincidencias entre las salidas del modelo y los documentos de entrenamiento," dijo Liu. "A través de la interfaz, puedes ver directamente dónde están los puntos de coincidencia y cómo las salidas del modelo coinciden con los documentos de entrenamiento."

Cómo se compara OLMoTrace con otros enfoques de transparencia

Ai2 no es la única organización trabajando para comprender mejor las salidas de los LLM. Anthropic también ha realizado investigaciones, pero su enfoque ha estado en las operaciones internas del modelo más que en sus datos. Liu destacó la diferencia: "Estamos tomando un enfoque diferente al de ellos. Estamos rastreando directamente el comportamiento del modelo, sus datos de entrenamiento, en lugar de rastrear cosas en las neuronas del modelo, circuitos internos, ese tipo de cosas."

Este enfoque hace que OLMoTrace sea más práctico para aplicaciones empresariales, ya que no requiere un conocimiento profundo de la arquitectura de redes neuronales para entender los resultados.

Aplicaciones de IA empresarial: Desde el cumplimiento regulatorio hasta la depuración de modelos

Para las empresas que implementan IA en sectores regulados como la salud, las finanzas o los servicios legales, OLMoTrace ofrece beneficios significativos sobre los sistemas de caja negra tradicionales. "Creemos que OLMoTrace ayudará a los usuarios empresariales y comerciales a entender mejor qué se usa en el entrenamiento de los modelos para que puedan estar más confiados cuando quieran construir sobre ellos," afirmó Liu. "Esto puede ayudar a aumentar la transparencia y la confianza entre ellos en sus modelos, y también para los clientes en el comportamiento de sus modelos."

La tecnología permite varias capacidades clave para los equipos de IA empresarial:

• Verificación de hechos de las salidas del modelo contra fuentes originales
• Comprender los orígenes de las alucinaciones
• Mejorar la depuración del modelo identificando patrones problemáticos
• Mejorar el cumplimiento regulatorio mediante la trazabilidad de datos
• Construir confianza con las partes interesadas mediante una mayor transparencia

El equipo de Ai2 ya ha utilizado OLMoTrace con buenos resultados. "Ya lo estamos usando para mejorar nuestros datos de entrenamiento," reveló Liu. "Cuando construimos OLMo 2 y comenzamos nuestro entrenamiento, a través de OLMoTrace, descubrimos que en realidad algunos de los datos de posentrenamiento no eran buenos."

Qué significa esto para la adopción de IA empresarial

Para las empresas que buscan estar a la vanguardia de la adopción de IA, OLMoTrace marca un avance significativo hacia sistemas de IA más responsables. La herramienta está disponible bajo una licencia de código abierto Apache 2.0, lo que significa que cualquier organización con acceso a los datos de entrenamiento de su modelo puede implementar capacidades de rastreo similares.

"OLMoTrace puede funcionar en cualquier modelo, siempre que tengas los datos de entrenamiento del modelo," señaló Liu. "Para modelos completamente abiertos donde todos tienen acceso a los datos de entrenamiento del modelo, cualquiera puede configurar OLMoTrace para ese modelo y para modelos propietarios, tal vez algunos proveedores no quieran liberar sus datos, ellos también pueden hacer este OLMoTrace internamente."

A medida que los marcos de gobernanza de IA global evolucionan, herramientas como OLMoTrace que permiten la verificación y la auditabilidad probablemente se convertirán en componentes cruciales de las pilas de IA empresarial, especialmente en industrias reguladas donde la transparencia es cada vez más requerida. Para los tomadores de decisiones técnicas que consideran los pros y los contras de la adopción de IA, OLMoTrace proporciona una manera práctica de implementar sistemas de IA más confiables y explicables sin comprometer el poder de los modelos de lenguaje grandes.