Дом
Google DeepMind представила фреймворк STATIC, позволяющий в 948 раз увеличить скорость поиска при генеративном поиске с использованием больших языковых моделей (LLM)
В современных промышленных системах рекомендаций генеративный поиск (GR) на основе крупных языковых моделей (LLM) постепенно вытесняет традиционный поиск на основе вложений. Однако на практике этот подход сталкивается с серьезной проблемой: модель часто генерирует недопустимые идентификаторы товаров или результаты, нарушающие ограничения по запасам, что приводит к бессмысленным рекомендациям.
Для решения этой проблемы исследователи из Google DeepMind и YouTube совместно представили новую архитектуру под названием STATIC (Sparse Transition Matrix Accelerated Trie Index for Constrained Decoding). Эта технология использует инновационные математические методы, позволяющие ускорить декодирование с ограничениями в LLM в 948 раз.

Ключевые технологические прорывы:
Превращение «дерева» в «матрицу»: традиционная проверка ограничений опирается на префиксные деревья (Trie), которые работают неэффективно на аппаратных средствах, таких как GPU и TPU. STATIC преобразует сложное дерево в статическую сжатую разреженную матрицу строк (CSR), превращая проверку в векторизованную операцию, с которой аппаратное обеспечение справляется эффективно.
Исключительная скорость отклика: в тестах с моделью, содержащей 3 миллиарда параметров, STATIC достигает задержки на одном шаге всего 0,033 миллисекунды. Это почти в 1 000 раз быстрее, чем традиционный поиск на базе ЦП, и более чем в 40 раз быстрее, чем существующие решения с аппаратным ускорением.
Успешное испытание на YouTube: STATIC был внедрен в систему рекомендаций видео на YouTube, чтобы гарантировать соответствие рекомендаций бизнес-ограничениям, таким как свежесть видео (не старше семи дней). Тестирование показало рост объема просмотров свежих видео на 5,1%, а также заметное улучшение коэффициента кликов (CTR).
Кроме того, STATIC устраняет ограничения генеративного поиска на этапе «холодного старта». Благодаря применению точных ограничений декодирования модель достигает значительного повышения точности при рекомендации совершенно новых продуктов, с которыми она ранее не сталкивалась.
Связанная статья
ИИ от OpenAI решил 722 математических задач, что вызвало беспокойство среди математиков-людей
Стремительное развитие искусственного интеллекта в математике коренным образом меняет восприятие этой области со стороны общественности. Недавно компания OpenAI опубликовала 722 рукописи доказательств
ИИ ускоряет выявление уязвимостей на фоне роста числа проблем с безопасностью и хакерских угроз
28 июля агентство Bloomberg сообщило, что искусственный интеллект значительно ускоряет обнаружение уязвимостей в программном обеспечении. Судя по текущим тенденциям, в 2026 году количество уязвимостей
Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче?
Представляем Free Willy: Новая эра для языковых моделей с открытым исходным кодомСодержание:Woody's AI и Carper AI Lab: Стратегическое партнерствоКритическая роль обработки естественного языкаЗнакомство с Free Willy 1 и Free Willy 2Сравнение с к
Рекомендации по связанным специальным темам
Комментарии (1)
В современных промышленных системах рекомендаций генеративный поиск (GR) на основе крупных языковых моделей (LLM) постепенно вытесняет традиционный поиск на основе вложений. Однако на практике этот подход сталкивается с серьезной проблемой: модель часто генерирует недопустимые идентификаторы товаров или результаты, нарушающие ограничения по запасам, что приводит к бессмысленным рекомендациям.
Для решения этой проблемы исследователи из Google DeepMind и YouTube совместно представили новую архитектуру под названием STATIC (Sparse Transition Matrix Accelerated Trie Index for Constrained Decoding). Эта технология использует инновационные математические методы, позволяющие ускорить декодирование с ограничениями в LLM в 948 раз.

Ключевые технологические прорывы:
Превращение «дерева» в «матрицу»: традиционная проверка ограничений опирается на префиксные деревья (Trie), которые работают неэффективно на аппаратных средствах, таких как GPU и TPU. STATIC преобразует сложное дерево в статическую сжатую разреженную матрицу строк (CSR), превращая проверку в векторизованную операцию, с которой аппаратное обеспечение справляется эффективно.
Исключительная скорость отклика: в тестах с моделью, содержащей 3 миллиарда параметров, STATIC достигает задержки на одном шаге всего 0,033 миллисекунды. Это почти в 1 000 раз быстрее, чем традиционный поиск на базе ЦП, и более чем в 40 раз быстрее, чем существующие решения с аппаратным ускорением.
Успешное испытание на YouTube: STATIC был внедрен в систему рекомендаций видео на YouTube, чтобы гарантировать соответствие рекомендаций бизнес-ограничениям, таким как свежесть видео (не старше семи дней). Тестирование показало рост объема просмотров свежих видео на 5,1%, а также заметное улучшение коэффициента кликов (CTR).
Кроме того, STATIC устраняет ограничения генеративного поиска на этапе «холодного старта». Благодаря применению точных ограничений декодирования модель достигает значительного повышения точности при рекомендации совершенно новых продуктов, с которыми она ранее не сталкивалась.
ИИ от OpenAI решил 722 математических задач, что вызвало беспокойство среди математиков-людей
Стремительное развитие искусственного интеллекта в математике коренным образом меняет восприятие этой области со стороны общественности. Недавно компания OpenAI опубликовала 722 рукописи доказательств
ИИ ускоряет выявление уязвимостей на фоне роста числа проблем с безопасностью и хакерских угроз
28 июля агентство Bloomberg сообщило, что искусственный интеллект значительно ускоряет обнаружение уязвимостей в программном обеспечении. Судя по текущим тенденциям, в 2026 году количество уязвимостей
Как исправить Core Web Vitals для улучшения позиций в поисковой выдаче?
Представляем Free Willy: Новая эра для языковых моделей с открытым исходным кодомСодержание:Woody's AI и Carper AI Lab: Стратегическое партнерствоКритическая роль обработки естественного языкаЗнакомство с Free Willy 1 и Free Willy 2Сравнение с к











