«Меньше больше: как получение меньшего количества документов усиливает ответы ИИ»

Генерация с дополненным извлечением (RAG) — это инновационный подход к созданию систем ИИ, сочетающий языковую модель с внешним источником знаний для повышения точности и уменьшения фактических ошибок. По сути, ИИ ищет релевантные документы, связанные с запросом пользователя, и использует эту информацию для формирования более точного ответа. Этот метод получил признание благодаря своей способности удерживать большие языковые модели (LLMs) в рамках реальных данных, минимизируя риск галлюцинаций.

Можно предположить, что предоставление ИИ большего количества документов приведет к более информированным ответам. Однако недавнее исследование Еврейского университета в Иерусалиме показывает обратное: когда речь идет о предоставлении информации ИИ, меньше действительно может быть лучше.

Меньше документов, лучше ответы

Исследование изучило, как количество документов, предоставленных системе RAG, влияет на ее производительность. Исследователи сохраняли постоянную общую длину текста, варьируя количество документов от 20 до 2–4 релевантных и расширяя их, чтобы соответствовать исходному объему текста. Это позволило изолировать влияние количества документов на производительность.

Используя набор данных MuSiQue, который включает вопросы по тривии в сочетании с параграфами из Википедии, они обнаружили, что модели ИИ часто работали лучше с меньшим количеством документов. Точность улучшалась до 10% (по метрике F1) при использовании лишь нескольких ключевых документов вместо широкого набора. Эта тенденция сохранялась для различных языковых моделей с открытым исходным кодом, таких как Llama от Meta, за исключением Qwen-2, которая сохраняла свою производительность при использовании нескольких документов.

Источник: Леви и др.

Этот неожиданный результат опровергает распространенное мнение, что больше информации всегда лучше. Даже при одинаковом объеме текста наличие множества документов, похоже, усложняло задачу ИИ, внося больше шума, чем сигнала.

Почему меньше может быть лучше в RAG

Принцип «меньше — значит больше» имеет смысл, если учесть, как модели ИИ обрабатывают информацию. С меньшим количеством более релевантных документов ИИ может сосредоточиться на основном контексте без отвлечений, подобно студенту, изучающему наиболее подходящий материал.

В исследовании модели работали лучше, когда получали только документы, непосредственно связанные с ответом, поскольку этот более чистый и сфокусированный контекст облегчал извлечение правильной информации. Напротив, когда ИИ приходилось просеивать множество документов, он часто испытывал трудности с сочетанием релевантного и нерелевантного контента. Похожие, но не связанные документы могли ввести модель в заблуждение, увеличивая риск галлюцинаций.

Интересно, что исследование показало, что ИИ легче игнорировал явно нерелевантные документы, чем те, которые были слегка не по теме. Это говорит о том, что реалистичные отвлекающие факторы более запутывают, чем случайные. Ограничивая количество документов только необходимыми, мы снижаем вероятность создания таких ловушек.

Кроме того, использование меньшего количества документов снижает вычислительные затраты, делая систему более эффективной и экономичной. Этот подход не только повышает точность, но и улучшает общую производительность системы RAG.

Источник: Леви и др.

Переосмысление RAG: будущие направления

Эти выводы имеют значительные последствия для проектирования будущих систем ИИ, зависящих от внешних знаний. Они предполагают, что сосредоточение на качестве и релевантности извлеченных документов, а не на их количестве, может повысить производительность. Авторы исследования выступают за методы извлечения, которые балансируют релевантность и разнообразие, обеспечивая всестороннее покрытие без перегрузки модели лишним текстом.

Будущие исследования могут быть направлены на разработку лучших систем извлечения или алгоритмов переранжирования для определения действительно ценных документов и улучшения того, как языковые модели обрабатывают множественные источники. Усовершенствование самих моделей, как видно на примере Qwen-2, также может дать понимание того, как сделать их более устойчивыми к разнообразным входным данным.

По мере того как системы ИИ развивают более широкие контекстные окна, способность обрабатывать больше текста одновременно становится менее критичной, чем обеспечение релевантности и курирования текста. Исследование под названием «Больше документов, та же длина» подчеркивает важность сосредоточения на наиболее подходящей информации для повышения точности и эффективности ИИ.

В заключение, это исследование бросает вызов нашим предположениям о вводе данных в системы ИИ. Тщательно выбирая меньше, но более качественных документов, мы можем создавать более умные и экономичные системы RAG, которые обеспечивают более точные и надежные ответы.