«Меньше больше: как получение меньшего количества документов усиливает ответы ИИ»

Поигрыватель поиска-аугмента (RAG)-это инновационный подход к построению систем ИИ, объединяя языковую модель с внешним источником знаний для повышения точности и уменьшения фактических ошибок. По сути, ИИ ищет соответствующие документы, связанные с запросом пользователя, и использует эту информацию для создания более точного ответа. Этот метод получил признание за его способность поддерживать большие языковые модели (LLMS), основанные на реальных данных, сводя к минимуму риск галлюцинаций.

Вы можете предположить, что предоставление ИИ с большим количеством документов приведет к более информированным ответам. Тем не менее, недавнее исследование Еврейского университета Иерусалима показывает обратное: когда дело доходит до подачи информации в ИИ, меньше может быть больше.

Меньше документов, лучшие ответы

Исследование углубилось в то, как количество документов, предоставленных в Rag System, влияет на ее производительность. Исследователи сохранили постоянную общую длину текста, настраивая количество документов с 20 до 2-4 соответствующих и расширяя их в соответствии с исходным объемом текста. Это позволило им изолировать влияние количества документов на производительность.

Используя набор данных Musique, который включает в себя викторины, в сочетании с абзацами Википедии, они обнаружили, что модели искусственного интеллекта часто работают лучше с меньшим количеством документов. Точность улучшилась до 10% (измеряется по оценке F1), когда система сосредоточена только на нескольких ключевых документах, а не на широкой коллекции. Эта тенденция проводилась в различных языковых моделях с открытым исходным кодом, таких как Llama's Llama, причем QWEN-2 является заметным исключением, поддерживая ее производительность с помощью нескольких документов.

Источник: Levy et al.

Этот удивительный результат бросает вызов общему убеждению, что дополнительная информация всегда помогает. Даже с одинаковым количеством текста, наличие нескольких документов, казалось, усложнило задачу ИИ, внедряя больше шума, чем сигнал.

Почему меньше может быть больше в тряпке

Принцип «меньше больше» имеет смысл, когда мы рассматриваем, как модели ИИ обрабатывают информацию. С меньшим количеством, более актуальными документами ИИ может сосредоточиться на основном контексте без отвлекающих факторов, так же, как студент, изучающий наиболее подходящий материал.

В исследовании модели работали лучше, когда давали только документы, непосредственно соответствующие ответу, так как этот более чистый, сфокусированный контекст облегчил извлечение правильной информации. И наоборот, когда ИИ должен был просеивать много документов, он часто боролся со смесью соответствующего и нерелевантного содержания. Аналогичные, но не связанные документы могут ввести в заблуждение модель, увеличив риск галлюцинаций.

Интересно, что исследование показало, что ИИ может легче игнорировать явно неактуальные документы, чем те, которые тонко не по теме. Это говорит о том, что реалистичные отвлекающие факторы более запутанны, чем случайные. Ограничивая документы только необходимыми, мы уменьшаем вероятность установления таких ловушек.

Кроме того, использование меньшего количества документов снижает вычислительные накладные расходы, что делает систему более эффективной и экономичной. Этот подход не только повышает точность, но и повышает общую производительность системы RAG.

Источник: Levy et al.

Переосмысление тряпки: будущие направления

Эти результаты имеют значительные последствия для разработки будущих систем ИИ, которые полагаются на внешние знания. Это предполагает, что сосредоточение внимания на качеством и актуальности извлеченных документов, а не на их количестве, может повысить производительность. Авторы исследования выступают за методы поиска, которые уравновешивают актуальность и разнообразие, обеспечивая комплексное охват, не подавляя модель с посторонним текстом.

Будущие исследования могут изучить более качественные системы ретриверов или повторных оранжеров для выявления действительно ценных документов и улучшения того, как языковые модели обрабатывают несколько источников. Усовершенствование самих моделей, как видно из QWEN-2, также может дать представление о том, чтобы сделать их более надежными к разнообразным входам.

Поскольку системы ИИ разрабатывают более крупные контекстные окна, способность обрабатывать больше текста одновременно становится менее критичной, чем обеспечение актуального и куриного текста. Исследование под названием «Больше документов, та же длины» подчеркивает важность сосредоточения внимания на наиболее подходящей информации для повышения точности и эффективности ИИ.

В заключение, это исследование бросает вызов нашим предположениям о вводе данных в системах ИИ. Тщательно выбирая меньше, лучшие документы, мы можем создать более умные, более тонкие тряпичные системы, которые дают более точные и заслуживающие доверия ответы.