O que há dentro do LLM? Ai2 Olmotrace vai 'rastrear' a fonte

Compreender a conexão entre a saída de um modelo de linguagem de grande escala (LLM) e seus dados de treinamento sempre foi um pouco um enigma para a TI empresarial. Esta semana, o Allen Institute for AI (Ai2) lançou uma nova iniciativa de código aberto empolgante chamada OLMoTrace, que visa desmistificar essa relação. Ao permitir que os usuários rastreiem as saídas do LLM até seus dados de treinamento originais, o OLMoTrace aborda um dos maiores obstáculos para a adoção de IA empresarial: a falta de transparência nos processos de tomada de decisão de IA.

OLMo, que significa Open Language Model, é o nome da família de LLMs de código aberto do Ai2. Você pode experimentar o OLMoTrace com o mais recente modelo OLMo 2 32B no site Playground do Ai2. Além disso, o código de código aberto está disponível no GitHub, para que qualquer pessoa possa usá-lo livremente.

O que diferencia o OLMoTrace de outros métodos, como aqueles focados em pontuações de confiança ou geração aumentada por recuperação, é que ele fornece uma visão clara de como as saídas do modelo se relacionam com os vastos conjuntos de dados de treinamento que os moldaram. Jiacheng Liu, pesquisador do Ai2, disse à VentureBeat: "Nosso objetivo é ajudar os usuários a entender por que os modelos de linguagem geram as respostas que geram."

Como o OLMoTrace Funciona: Mais do que Apenas Citações

Embora LLMs como Perplexity ou ChatGPT Search possam oferecer citações de fontes, eles operam de maneira diferente do OLMoTrace. Segundo Liu, esses modelos usam geração aumentada por recuperação (RAG), que visa melhorar a qualidade da saída do modelo incorporando fontes adicionais além dos dados de treinamento. Por outro lado, o OLMoTrace rastreia a saída do modelo diretamente até o corpus de treinamento sem depender de RAG ou documentos externos.

A ferramenta identifica sequências de texto únicas nas saídas do modelo e as corresponde a documentos específicos dos dados de treinamento. Quando uma correspondência é encontrada, o OLMoTrace não apenas destaca o texto relevante, mas também fornece links para o material de origem original. Isso permite que os usuários vejam exatamente onde e como o modelo aprendeu as informações que utiliza.

Além das Pontuações de Confiança: Evidências Concretas da Tomada de Decisão de IA

Os LLMs geralmente geram saídas com base nos pesos do modelo, que são usados para calcular uma pontuação de confiança. Quanto maior a pontuação, supostamente mais precisa é a saída. No entanto, Liu acredita que essas pontuações podem ser enganosas. "Os modelos podem ser excessivamente confiantes no que geram, e se você pedir que eles gerem uma pontuação, ela geralmente é inflada", ele explicou. "Isso é o que os acadêmicos chamam de erro de calibração—a confiança que os modelos exibem nem sempre reflete o quão precisas são suas respostas."

Em vez de depender de pontuações potencialmente enganosas, o OLMoTrace oferece evidências diretas das fontes de aprendizado do modelo, permitindo que os usuários façam julgamentos informados. "O que o OLMoTrace faz é mostrar as correspondências entre as saídas do modelo e os documentos de treinamento", disse Liu. "Por meio da interface, você pode ver diretamente onde estão os pontos de correspondência e como as saídas do modelo coincidem com os documentos de treinamento."

Como o OLMoTrace se Compara a Outras Abordagens de Transparência

O Ai2 não é a única organização trabalhando para entender melhor as saídas do LLM. A Anthropic também conduziu pesquisas, mas seu foco tem sido nas operações internas do modelo, em vez de seus dados. Liu destacou a diferença: "Estamos adotando uma abordagem diferente deles. Estamos rastreando diretamente o comportamento do modelo, seus dados de treinamento, em oposição a rastrear coisas nos neurônios do modelo, circuitos internos, esse tipo de coisa."

Essa abordagem torna o OLMoTrace mais prático para aplicações empresariais, pois não exige conhecimento profundo da arquitetura de redes neurais para entender os resultados.

Aplicações de IA Empresarial: Da Conformidade Regulatória ao Depuração de Modelos

Para empresas que implementam IA em setores regulados como saúde, finanças ou serviços jurídicos, o OLMoTrace oferece benefícios significativos sobre sistemas de caixa preta tradicionais. "Acreditamos que o OLMoTrace ajudará usuários empresariais e de negócios a entender melhor o que é usado no treinamento de modelos, para que possam ter mais confiança quando quiserem construir sobre eles", afirmou Liu. "Isso pode ajudar a aumentar a transparência e a confiança entre eles em relação aos seus modelos, e também para os clientes em relação aos comportamentos de seus modelos."

A tecnologia permite várias capacidades-chave para equipes de IA empresarial:

• Verificação de fatos das saídas do modelo contra fontes originais
• Compreensão das origens de alucinações
• Melhoria na depuração de modelos ao identificar padrões problemáticos
• Reforço da conformidade regulatória por meio da rastreabilidade de dados
• Construção de confiança com stakeholders por meio de maior transparência

A equipe do Ai2 já colocou o OLMoTrace em bom uso. "Já estamos usando para melhorar nossos dados de treinamento", revelou Liu. "Quando construímos o OLMo 2 e começamos nosso treinamento, por meio do OLMoTrace, descobrimos que alguns dos dados de pós-treinamento não eram bons."

O Que Isso Significa para a Adoção de IA Empresarial

Para empresas que buscam estar na vanguarda da adoção de IA, o OLMoTrace marca um avanço significativo rumo a sistemas de IA mais responsáveis. A ferramenta está disponível sob uma licença de código aberto Apache 2.0, o que significa que qualquer organização com acesso aos dados de treinamento de seu modelo pode implementar capacidades de rastreamento semelhantes.

"O OLMoTrace pode funcionar em qualquer modelo, desde que você tenha os dados de treinamento do modelo", observou Liu. "Para modelos totalmente abertos, onde todos têm acesso aos dados de treinamento do modelo, qualquer um pode configurar o OLMoTrace para esse modelo, e para modelos proprietários, talvez alguns provedores não queiram liberar seus dados, eles também podem fazer esse OLMoTrace internamente."

À medida que os quadros de governança de IA global evoluem, ferramentas como o OLMoTrace, que permitem verificação e auditabilidade, provavelmente se tornarão componentes cruciais das pilhas de IA empresarial, especialmente em indústrias reguladas onde a transparência é cada vez mais exigida. Para tomadores de decisão técnicos considerando os prós e contras da adoção de IA, o OLMoTrace oferece uma maneira prática de implementar sistemas de IA mais confiáveis e explicáveis sem comprometer o poder dos modelos de linguagem de grande escala.