"Menos é mais: como recuperar menos documentos aprimora as respostas da IA"

A geração de recuperação de recuperação (RAG) é uma abordagem inovadora para a construção de sistemas de IA, combinando um modelo de idioma com uma fonte de conhecimento externa para aumentar a precisão e reduzir os erros factuais. Em essência, a IA procura documentos relevantes relacionados à consulta de um usuário e usa essas informações para gerar uma resposta mais precisa. Esse método ganhou reconhecimento por sua capacidade de manter grandes modelos de idiomas (LLMS) fundamentados em dados reais, minimizando o risco de alucinações.

Você pode assumir que fornecer a uma IA mais documentos levaria a respostas mais bem informadas. No entanto, um estudo recente da Universidade Hebraica de Jerusalém sugere o contrário: quando se trata de alimentar informações a uma IA, menos pode ser realmente mais.

Menos documentos, melhores respostas

O estudo investigou como o número de documentos fornecidos a um sistema de pano afeta seu desempenho. Os pesquisadores mantiveram um comprimento total consistente do texto, ajustando a contagem de documentos de 20 para 2-4 relevantes e expandindo-os para corresponder ao volume original de texto. Isso lhes permitiu isolar o efeito da quantidade de documentos no desempenho.

Usando o conjunto de dados Musique, que inclui perguntas de trivia emparelhadas com parágrafos da Wikipedia, eles descobriram que os modelos de IA geralmente tinham melhor desempenho com menos documentos. A precisão melhorou em até 10% (medida pela pontuação de F1) quando o sistema se concentrou em apenas alguns documentos -chave, em vez de uma coleção ampla. Essa tendência mantida em vários modelos de idiomas de código aberto, como a Llama da Meta, com QWEN-2 sendo a exceção notável, mantendo seu desempenho com vários documentos.

Fonte: Levy et al.

Este resultado surpreendente desafia a crença comum de que mais informações sempre ajudam. Mesmo com a mesma quantidade de texto, a presença de vários documentos parecia complicar a tarefa da IA, introduzindo mais ruído do que sinal.

Por que menos pode ser mais em pano

O princípio "menos é mais" faz sentido quando consideramos como os modelos de IA processam as informações. Com menos documentos mais relevantes, a IA pode se concentrar no contexto essencial sem distrações, assim como um aluno que estuda o material mais pertinente.

No estudo, os modelos tiveram melhor desempenho quando recebidos apenas os documentos diretamente relevantes para a resposta, pois esse contexto mais limpo e focado tornou mais fácil extrair as informações corretas. Por outro lado, quando a IA teve que examinar muitos documentos, ela geralmente lutava com a mistura de conteúdo relevante e irrelevante. Documentos semelhantes, mas não relacionados, podem enganar o modelo, aumentando o risco de alucinações.

Curiosamente, o estudo descobriu que a IA poderia ignorar mais facilmente documentos obviamente irrelevantes do que aqueles sutilmente fora do tópico. Isso sugere que os distratores realistas são mais confusos do que os aleatórios. Ao limitar os documentos apenas aos necessários, reduzimos a probabilidade de definir essas armadilhas.

Além disso, o uso de menos documentos reduz a sobrecarga computacional, tornando o sistema mais eficiente e econômico. Essa abordagem não apenas melhora a precisão, mas também aprimora o desempenho geral do sistema de pano.

Fonte: Levy et al.

Repensando o pano: direções futuras

Esses achados têm implicações significativas para o design de futuros sistemas de IA que dependem do conhecimento externo. Ele sugere que o foco na qualidade e relevância dos documentos recuperados, e não em sua quantidade, poderia melhorar o desempenho. Os autores do estudo defendem métodos de recuperação que equilibram a relevância e a diversidade, garantindo uma cobertura abrangente sem sobrecarregar o modelo com texto estranho.

Pesquisas futuras podem explorar melhores sistemas de retriever ou reproduzir para identificar documentos verdadeiramente valiosos e melhorar como os modelos de idiomas lidam com várias fontes. Aumentar os próprios modelos, como visto com QWEN-2, também pode fornecer informações sobre como torná-las mais robustas a diversos insumos.

À medida que os sistemas de IA desenvolvem janelas de contexto maiores, a capacidade de processar mais texto de uma só vez se torna menos crítica do que garantir que o texto seja relevante e com curadoria. O estudo, intitulado "Mais documentos, o mesmo comprimento", ressalta a importância de se concentrar nas informações mais pertinentes para melhorar a precisão e a eficiência da IA.

Em conclusão, esta pesquisa desafia nossas suposições sobre a entrada de dados nos sistemas de IA. Ao selecionar cuidadosamente documentos melhores e melhores, podemos criar sistemas de pano mais inteligentes e magros que oferecem respostas mais precisas e confiáveis.