ИИ Alibaba ZeroSearch сокращает расходы на обучение на 88% благодаря автономному обучению

ZeroSearch от Alibaba: Изменение эффективности обучения ИИ

Исследователи Alibaba Group разработали революционный метод обучения систем искусственного интеллекта поиску информации в обход дорогостоящих коммерческих API поисковых систем. Их технология ZeroSearch позволяет крупным языковым моделям развивать сложные поисковые способности в симулированной среде вместо традиционного взаимодействия с поисковыми системами на этапах обучения.

"Традиционное обучение с подкреплением требует обширных поисковых запросов, которые накапливают значительные затраты на API и препятствуют масштабируемости", - объясняют исследователи в своей недавно опубликованной статье в arXiv. "ZeroSearch представляет собой экономически эффективный механизм обучения с подкреплением, который расширяет возможности поиска LLM независимо от реальных поисковых систем".

Механика обучения без поиска

Современные методы обучения ИИ сталкиваются с двумя основными ограничениями: непостоянное качество документов, получаемых от коммерческих поисковых систем во время циклов обучения, и непомерные расходы, связанные с огромными объемами API-вызовов к таким сервисам, как Google Search.

В ZeroSearch реализован инновационный двухфазный подход:

1. Первоначальная контролируемая тонкая настройка превращает LLM в модуль генерации документов.
2. Усовершенствованное усиление на основе учебных программ постепенно изменяет качество вывода.

"Наше фундаментальное открытие показывает, что предварительно обученные LLM изначально обладают достаточными знаниями о мире, чтобы генерировать контекстуально подходящие документы", - отмечают исследователи. "Основное различие между симулированными и реальными результатами поиска заключается в стилистических различиях в тексте, а не в существенных пробелах в содержании".

Контрольные показатели производительности демонстрируют значительные преимущества

Тщательное тестирование семи различных наборов данных, содержащих вопросы-ответы, продемонстрировало конкурентные преимущества ZeroSearch:

• 7B моделей параметров соответствовали точности поиска Google
• 14B конфигураций параметров превысили производительность коммерческого поиска

Особенно поразительны финансовые последствия:

• Традиционное обучение с 64K запросами: $586,70 через SerpAPI
• Эквивалент ZeroSearch: $70,80 при использовании четырех графических процессоров A100.
• Общее снижение затрат: 88%

"Эти результаты подтверждают, что LLM могут заменить обычные поисковые системы в системах обучения с подкреплением", - заключает исследовательская группа.

Более широкие последствия для развития ИИ

ZeroSearch знаменует собой смену парадигмы в методологии обучения искусственного интеллекта, демонстрируя автономное развитие способностей без зависимости от внешних инструментов.

Технология обещает несколько преобразующих эффектов:

• Демократизация затрат: Снижение финансовых барьеров для стартапов за счет устранения дорогостоящих API-зависимостей.
• Контроль обучения: Обеспечивает точное регулирование информационных входов в процессе разработки модели
• Архитектурная гибкость: Совместимость с основными семействами моделей, включая Qwen-2.5 и LLaMA-3.2.

Alibaba предоставила открытый доступ к полной реализации - включая кодовые базы, наборы обучающих данных и предварительно обученные модели - через репозитории GitHub и Hugging Face.

Эта инновация предвещает появление нового ландшафта развития ИИ, в котором передовые возможности появляются благодаря сложному моделированию, а не использованию внешних сервисов. По мере развития этих самодостаточных методов обучения они могут существенно изменить текущую зависимость технологической экосистемы от основных API-интерфейсов платформ.