вариант
Дом
Новости
ByteDance и HKUST представляют MMProLong для улучшения обучения длинных документов в LMM

ByteDance и HKUST представляют MMProLong для улучшения обучения длинных документов в LMM

3 октября 2026 г.
5

ByteDance и HKUST представляют MMProLong для улучшения обучения длинных документов в LMM

24 мая команда ByteDance Seed совместно с Гонконгским научно-техническим университетом представила прорыв в области обучения длинных документов для мультимодальных больших языковых моделей (LMM). Используя открытую модель Alibaba Qwen2.5-VL, команда разработала новую модель под названием MMProLong, достигнув значительного повышения эффективности обработки. Это исследование бросает вызов традиционным методам обучения длинных текстов для мультимодальных моделей, подчеркивая, что стратегическая организация данных имеет решающее значение для улучшения работы с длинным контекстом.

Рассматривая ключевые проблемы обучения LMM, исследование показывает, что обучение на основе вопросов и ответов (QA), адаптированное под конкретные задачи, значительно эффективнее традиционной транскрипции с помощью оптического распознавания символов (OCR). Хотя использование только текстовой транскрипции не улучшает извлечение информации в длинных контекстах и может даже ухудшить производительность, обучение с использованием пар QA с длинным контекстом, сгенерированных независимой моделью, такой как ByteDance Seed2.0, позволяет модели точно находить целевые абзацы среди длинных и отвлекающих данных.

Благодаря оптимизированной стратегии и скромному бюджету обучения всего в 128 000 токенов, MMProLong сохраняет стабильность при работе с длинными текстами, эффективно справляясь даже при длине входных данных до 256 000 или 512 000 токенов. Она превосходит более крупные открытые модели, такие как InternVL3-38B и Gemma3-27B, на бенчмарках MMLongBench и MM-NIAH (Needle-in-a-Haystack). Кроме того, мультимодальные возможности MMProLong распространяются на задачи понимания длинных видео без специальной подготовки, что также было проверено на модели Qwen3-VL-8B.

Это исследование предлагает альтернативный путь развития для индустрии больших моделей, контрастирующий с подходами, такими как DeepSeek, которые сосредоточены на улучшении архитектур за счет высоко сжатых и переупорядоченных визуальных данных. Оно демонстрирует, что возможности работы с длинным контекстом можно значительно улучшить путем оптимизации структуры обучающих данных, а не изменения базовой архитектуры, открывая путь к более экономичным и эффективным техническим решениям для будущих мультимодальных систем и многошаговых агентов.

Связанная статья
Microsoft возрождает собственную стратегию в области ИИ с новой моделью для программирования на фоне резкого роста цен на Claude Microsoft возрождает собственную стратегию в области ИИ с новой моделью для программирования на фоне резкого роста цен на Claude Искусственный интеллект в программировании стал неотъемлемой частью современной разработки программного обеспечения, однако даже технологические гиганты, такие как Microsoft, ощущают давление из-за высоких затрат на подписки сторонних больших языковы
Ещё один клиент стартапа Delve, столкнувшегося с серьёзным нарушением безопасности Ещё один клиент стартапа Delve, столкнувшегося с серьёзным нарушением безопасности Стартап в сфере комплаенса Delve продолжает сталкиваться с серией эскалирующих скандалов.TechCrunch подтвердил, что Delve проводил сертификацию безопасности для Context AI, компании по обучению ИИ-агентов, которая недавно сообщила о инциденте с безо
Google представила Gemini 3.8 Flash TTS, обеспечивающую естественную настройку голосового интерфейса и 30-секундное воспроизведение Google представила Gemini 3.8 Flash TTS, обеспечивающую естественную настройку голосового интерфейса и 30-секундное воспроизведение Синтез речи достигает новых высот точности. 23 сентября Google представила две продвинутые модели преобразования текста в речь — Gemini 3.8 Flash TTS и Gemini 3.8 Flash-Lite TTS, — разработанные для удовлетворения разнообразных потребностей разработч
Рекомендации по связанным специальным темам
Академические исследования Лучшие инструменты для исследований с использованием ИИ: быстро находите журналы, наборы данных и тенденции
Лучшие инструменты для исследований с использованием ИИ: быстро находите журналы, наборы данных и тенденции

2026 год: лучшие новейшие инструменты для исследований с использованием ИИ, получившие высшие оценки, доступны на XIX.AI! Этот тщательно подобранный список включает мощные ресурсы, меняющие правила игры, для быстрого доступа к журналам, наборам данных и отраслевым тенденциям. Получите бесплатное сравнение с платными версиями, а также реальные тесты и обновляемые еженедельно рейтинги. Обязательные к использованию варианты помогут повысить эффективность ваших исследований и раскрыть ваше преимущество с помощью ИИ. Исследуйте сейчас, чтобы найти идеальный инструмент!

10 инструментов
xix.ai
Маркетинг Инструменты для проведения email-кампаний с использованием ИИ в рамках маркетинга жизненного цикла
Инструменты для проведения email-кампаний с использованием ИИ в рамках маркетинга жизненного цикла

2026: новейшие и лучшие инструменты для проведения маркетинговых кампаний по электронной почте с использованием ИИ для циклового маркетинга! XIX.AI подготовила подборку мощных и революционных решений, которые обязательно стоит попробовать: они повышают эффективность написания текстов, помогают создавать высокотаргетированный контент и оптимизируют все маркетинговые рабочие процессы. Воспользуйтесь еженедельно обновляемыми рейтингами, результатами реальных тестов и сравнением бесплатных и платных версий, чтобы найти идеальный инструмент для ваших нужд. Ознакомьтесь с ними прямо сейчас, чтобы раскрыть потенциал искусственного интеллекта!

11 инструментов
xix.ai
Финансы Лучшие инструменты для анализа инвестиций в сферу ИИ: сравнение сигналов и рисков портфеля
Лучшие инструменты для анализа инвестиций в сферу ИИ: сравнение сигналов и рисков портфеля

2026: самые новые и лучшие инструменты для инвестиционного анализа на основе ИИ представлены на сайте XIX.AI! Этот тщательно отобранный список содержит чрезвычайно точные сигналы, которые помогут вам оценить риски портфеля и принимать более взвешенные решения, основанные на данных. Мы еженедельно проводим тестирование в реальных условиях, чтобы обновлять рейтинги и предлагать сравнение бесплатных и платных версий. Найдите свой идеальный инструмент для повышения эффективности инвестиционного анализа уже сегодня. Узнайте больше прямо сейчас!

10 инструментов
xix.ai
чат-бот Инструменты искусственного интеллекта для создания чат-ботов, предназначенные для поддержки посетителей веб-сайтов
Инструменты искусственного интеллекта для создания чат-ботов, предназначенные для поддержки посетителей веб-сайтов

2026 года: самые новые и лучшие инструменты ИИ-чатботов для поддержки клиентов на сайтах с самыми высокими оценками представлены здесь, на XIX.AI! В нашем тщательно подобранном списке представлены мощные, революционные решения, которые ускоряют время отклика, повышают уровень удовлетворённости клиентов и позволяют сэкономить массу ручной работы. Каждый вариант проходит тщательные тесты в реальных условиях, а также сопровождается подробным сравнением бесплатных и платных версий. Ознакомьтесь с ним прямо сейчас, чтобы найти идеальный инструмент, который повысит эффективность вашей онлайн-поддержки!

10 инструментов
xix.ai
Социальные сети Инструменты для автоматического ответа на комментарии в Instagram с использованием ИИ: для магазинов, личных сообщений и управления сообществом
Инструменты для автоматического ответа на комментарии в Instagram с использованием ИИ: для магазинов, личных сообщений и управления сообществом

2026 год: лучшие инструменты ИИ для автоматического ответа на комментарии в Instagram, подходящие для магазинов, личных сообщений и управления сообществом! XIX.AI составил топ-список самых эффективных решений, которые регулярно обновляются, включая сравнение бесплатных и платных версий, а также результаты реальных тестов. Эти инструменты значительно повышают производительность, упрощая задачи по ответам на сообщения, экономя время и способствуя лучшему взаимодействию с клиентами на всех платформах социальных сетей. Ознакомьтесь с ними прямо сейчас, чтобы найти идеальный инструмент для безупречного управления сообществом!

10 инструментов
xix.ai
Редактирование изображений Лучшие инструменты для ретуширования фотографий с помощью ИИ при обработке портретов
Лучшие инструменты для ретуширования фотографий с помощью ИИ при обработке портретов

2026 лучших и самых популярных инструментов для ретуширования портретов с помощью ИИ представлены на сайте XIX.AI! В этом тщательно подобранном списке собраны мощные, революционные решения, которые помогут творческим людям повысить эффективность работы и раскрыть весь свой творческий потенциал. Мы проводим тестирование в реальных условиях и предоставляем подробное сравнение бесплатных и платных версий, а также еженедельно обновляемые рейтинги, чтобы вы могли найти идеальный инструмент для безупречной обработки портретов, который обязательно стоит попробовать. Ознакомьтесь с ними прямо сейчас, чтобы найти свой идеальный вариант!

12 инструментов
xix.ai
Комментарии (0)
0/500
OR