DataGemma aborda as alucinações AI com dados do mundo real

Os grandes modelos de idiomas (LLMs) estão no coração dos avanços da AI de hoje, capazes de examinar através de conjuntos de dados de texto maciços para produzir resumos, desencadear idéias criativas e até escrever código. No entanto, apesar de suas proezas, esses modelos às vezes podem fornecer informações que estão simplesmente erradas, um problema que chamamos de "alucinação". É um grande obstáculo no mundo da IA ​​generativa.

Estamos empolgados em compartilhar algumas pesquisas de ponta que estão enfrentando esse problema de frente, com o objetivo de conter as alucinações ao aterrar LLMs nas estatísticas do mundo real. E estamos entusiasmados em introduzir o DatageMma, os primeiros modelos abertos que vinculam o LLMS a uma riqueza de dados do mundo real dos dados do Google.

Data Commons: um tesouro de dados confiáveis

A Data Commons é como uma biblioteca gigante e sempre crescente de dados públicos, com mais de 240 bilhões de dados sobre tudo, desde a saúde até a economia. Ele extrai essas informações de fontes confiáveis ​​como a ONU, que, CDC e Bureaus. Ao mesclar esses conjuntos de dados em um único e poderoso conjunto de ferramentas e modelos de IA, o Data Commons ajuda os formuladores de políticas, pesquisadores e organizações a obter as idéias precisas de que precisam.

Imagine um vasto banco de dados onde você pode fazer perguntas em inglês simples, como quais países africanos tiveram o maior salto no acesso à eletricidade ou como a renda se refere ao diabetes nos municípios dos EUA. Isso é Data Commons para você.

Como os dados Commons ajudam a combater a alucinação

À medida que mais pessoas se transformam em IA generativa, estamos trabalhando para tornar essas experiências mais fundamentadas ao tecer os dados do Gemma, nossa família de modelos abertos leves e de alto nível. Esses modelos de DataGEMMA estão agora disponíveis para pesquisadores e desenvolvedores mergulharem.

O DataGemma aumenta os recursos da Gemma, explorando o conhecimento do Data Commons, usando dois métodos legais para melhorar a precisão e o raciocínio do LLMS:

1. A RIG (geração de recuperação de recuperação) amplia nosso modelo Gemma 2, verificando ativamente os fatos contra os dados comuns. Quando você faz uma pergunta a DatageMma, ele caça dados estatísticos do Data Commons para fornecer uma resposta sólida. Embora o RIG não seja uma ideia nova, a maneira como a usamos no DatageMma é bastante especial.

   Exemplo de consulta: '' O uso de renováveis ​​aumentou no mundo? '' A aplicação da Metodologia da Rig DatageMma alavanca o Data Commons (DC) para dados autorizados.

2. RAG (geração de recuperação de recuperação) permite que os modelos de idiomas punham informações extras além do que foram treinadas, tornando suas respostas mais ricas e precisas. Com o DataGemma, usamos a longa janela de contexto do Gemini 1.5 Pro para buscar dados relevantes do Data Commons antes que o modelo comece a criar sua resposta, reduzindo as alucinações.

   Exemplo de consulta: '' O uso de renováveis ​​aumentou no mundo? '' A aplicação da metodologia RAG de DatageMma mostra maior raciocínio e inclusão de notas de rodapé.

Resultados promissores e o que vem a seguir

Nossos testes iniciais com plataforma e trapo estão com boa aparência. Estamos vendo uma melhor precisão em nossos modelos ao lidar com números, o que significa menos alucinações para as pessoas que usam esses modelos para pesquisa, tomada de decisão ou apenas para satisfazer sua curiosidade. Você pode conferir esses resultados em nosso trabalho de pesquisa.