Плагин AI от Sakana AI упрощает обработку документов для крупных моделей
Проблемы крупных языковых моделей с обработкой длинных текстов, часто называемые «проблемой памяти», вскоре могут остаться в прошлом. Недавно токийский стартап Sakana AI, занимающийся искусственным интеллектом, представил две революционные технологии: Text-to-LoRA (T2L) и Doc-to-LoRA (D2L). Используя инновационную архитектуру «суперсети», эти технологии позволяют крупным моделям «поглощать» объемные документы или осваивать новые задачи менее чем за секунду, и все это без повторного обучения.

Разработчики ИИ долгое время сталкивались с трудным выбором: впихивать длинные документы в окно чата — что замедляет ответы и потребляет много памяти — или платить высокую цену за тонкую настройку модели. Sakana AI предлагает третий вариант. За одноразовую плату за предварительное обучение она генерирует крошечные весовые плагины (LoRA) для недорогой и эффективной адаптации модели.
Doc-to-LoRA: потребность в памяти снижается с 12 ГБ до всего 50 МБ
Это самая впечатляющая технология в последней версии. Обработка документа из 128 000 токенов (примерно 100 000 слов) традиционными методами требует более 12 ГБ видеопамяти для хранения информации. С помощью D2L модель может напрямую «переварить» эту информацию в плагин размером менее 50 МБ.
Невероятная скорость: старым технологиям требуется от 40 до 100 секунд на обработку документа, тогда как D2L справляется с этим менее чем за 1 секунду.
Расширение границ: это позволяет моделям обрабатывать текст, который в четыре раза длиннее их исходного контекстного окна, достигая почти идеальной точности в тестах на поиск «иголки в стоге сена».
Text-to-LoRA: адаптация ИИ к повседневному языку
Text-to-LoRA делает модели более отзывчивыми. Пользователи просто описывают задачу на естественном языке — например, «помоги мне решить сложную задачу математического олимпиады» — и система автоматически генерирует специальный плагин для повышения производительности. Эксперименты показывают, что адаптеры, созданные таким образом, могут превосходить по производительности специализированные модели, обученные с нуля на задачах по математике и логическому мышлению.
Мощная кросс-модальная технология: позволяющая текстовым моделям «видеть» изображения
Исследователи обнаружили неожиданный бонус: D2L демонстрирует сильные кросс-модальные способности. Путем отображения визуальной информации в параметры чисто текстовой модели, модель, которая никогда ранее не обрабатывала изображения, может классифицировать их с точностью **75,03%**.
Достижения Sakana AI значительно снижают барьер для частных лиц и компаний при настройке частных моделей ИИ. Они также прокладывают новый путь к разработке более легкого и интеллектуального общего искусственного интеллекта (AGI).
Статья: https://arxiv.org/pdf/2602.15902
Связанная статья
Партнер Леди Гаги поддерживает биотехнологическую компанию, использующую живую кожу для обучения ИИ в целях исследований и разработок в сфере красоты
Работая вдали от ярких прожекторов Кремниевой долины, биотехнологический стартап Outer Biosciences переосмысливает основы косметологии и медицинских исследований. Компания, соучредителем которой являе
Spotify будет маркировать профили, созданные с помощью ИИ, и исключать соответствующую музыку из рекомендаций
Во вторник Spotify объявила, что начнёт помечать исполнителей, созданных с помощью ИИ, метками «AI Persona» в профилях и исключать их треки из редакционных и алгоритмических рекомендаций.С середины се
Массачусетс вводит новые требования к чистой энергии для центров обработки данных
Массачусетс присоединился к растущему списку штатов, требующих от центров обработки данных обеспечения собственного энергоснабжения, но с существенным уточнением. Новое государственное постановление обязывает разработчиков, строящих объекты мощностью
Рекомендации по связанным специальным темам
Комментарии (0)
Проблемы крупных языковых моделей с обработкой длинных текстов, часто называемые «проблемой памяти», вскоре могут остаться в прошлом. Недавно токийский стартап Sakana AI, занимающийся искусственным интеллектом, представил две революционные технологии: Text-to-LoRA (T2L) и Doc-to-LoRA (D2L). Используя инновационную архитектуру «суперсети», эти технологии позволяют крупным моделям «поглощать» объемные документы или осваивать новые задачи менее чем за секунду, и все это без повторного обучения.

Разработчики ИИ долгое время сталкивались с трудным выбором: впихивать длинные документы в окно чата — что замедляет ответы и потребляет много памяти — или платить высокую цену за тонкую настройку модели. Sakana AI предлагает третий вариант. За одноразовую плату за предварительное обучение она генерирует крошечные весовые плагины (LoRA) для недорогой и эффективной адаптации модели.
Doc-to-LoRA: потребность в памяти снижается с 12 ГБ до всего 50 МБ
Это самая впечатляющая технология в последней версии. Обработка документа из 128 000 токенов (примерно 100 000 слов) традиционными методами требует более 12 ГБ видеопамяти для хранения информации. С помощью D2L модель может напрямую «переварить» эту информацию в плагин размером менее 50 МБ.
Невероятная скорость: старым технологиям требуется от 40 до 100 секунд на обработку документа, тогда как D2L справляется с этим менее чем за 1 секунду.
Расширение границ: это позволяет моделям обрабатывать текст, который в четыре раза длиннее их исходного контекстного окна, достигая почти идеальной точности в тестах на поиск «иголки в стоге сена».
Text-to-LoRA: адаптация ИИ к повседневному языку
Text-to-LoRA делает модели более отзывчивыми. Пользователи просто описывают задачу на естественном языке — например, «помоги мне решить сложную задачу математического олимпиады» — и система автоматически генерирует специальный плагин для повышения производительности. Эксперименты показывают, что адаптеры, созданные таким образом, могут превосходить по производительности специализированные модели, обученные с нуля на задачах по математике и логическому мышлению.
Мощная кросс-модальная технология: позволяющая текстовым моделям «видеть» изображения
Исследователи обнаружили неожиданный бонус: D2L демонстрирует сильные кросс-модальные способности. Путем отображения визуальной информации в параметры чисто текстовой модели, модель, которая никогда ранее не обрабатывала изображения, может классифицировать их с точностью **75,03%**.
Достижения Sakana AI значительно снижают барьер для частных лиц и компаний при настройке частных моделей ИИ. Они также прокладывают новый путь к разработке более легкого и интеллектуального общего искусственного интеллекта (AGI).
Статья: https://arxiv.org/pdf/2602.15902
Партнер Леди Гаги поддерживает биотехнологическую компанию, использующую живую кожу для обучения ИИ в целях исследований и разработок в сфере красоты
Работая вдали от ярких прожекторов Кремниевой долины, биотехнологический стартап Outer Biosciences переосмысливает основы косметологии и медицинских исследований. Компания, соучредителем которой являе
Spotify будет маркировать профили, созданные с помощью ИИ, и исключать соответствующую музыку из рекомендаций
Во вторник Spotify объявила, что начнёт помечать исполнителей, созданных с помощью ИИ, метками «AI Persona» в профилях и исключать их треки из редакционных и алгоритмических рекомендаций.С середины се
Массачусетс вводит новые требования к чистой энергии для центров обработки данных
Массачусетс присоединился к растущему списку штатов, требующих от центров обработки данных обеспечения собственного энергоснабжения, но с существенным уточнением. Новое государственное постановление обязывает разработчиков, строящих объекты мощностью





Дом






