Heim
ByteDance und HKUST stellen MMProLong vor, um das Training von Langdokumenten-LMMs zu verbessern
Am 24. Mai hat das ByteDance Seed-Team in Zusammenarbeit mit der Hong Kong University of Science and Technology einen Durchbruch im Training langer Dokumente für multimodale große Sprachmodelle (LMMs) vorgestellt. Unter Nutzung von Alibaba’s quelloffenem Qwen2.5-VL entwickelte das Team ein neues Modell namens MMProLong, das erhebliche Verbesserungen in der Verarbeitungseffizienz erzielte. Diese Forschung stellt herkömmliche Trainingsmethoden für lange Texte bei multimodalen Modellen in Frage und unterstreicht, wie wichtig eine strategische Datenorganisation für die Verbesserung der Langkontext-Fähigkeiten ist.
Die Studie adressiert zentrale Herausforderungen beim LMM-Training und zeigt, dass Frage-Antwort (QA)-Training, das auf spezifische Aufgaben zugeschnitten ist, weitaus effektiver ist als traditionelle Optical Character Recognition (OCR)-Transkription. Während sich alleinige Texttranskription nicht zur Verbesserung der Inhaltsabfrage in langen Kontexten bewährt – und die Leistung sogar verschlechtern kann – ermöglicht das Training mit Langkontext-QA-Paaren, die von einem unabhängigen Modell wie ByteDance Seed2.0 generiert wurden, dem Modell, Zielabschnitte auch bei umfangreichen, ablenkenden Informationen präzise zu lokalisieren.
Mit einer optimierten Strategie und einem bescheidenen Trainingsbudget von nur 128.000 Token behält MMProLong eine robuste Langtextstabilität bei und funktioniert effektiv, selbst wenn die Eingabelängen 256.000 oder 512.000 Token erreichen. Es übertrifft größere quelloffene Modelle wie InternVL3-38B und Gemma3-27B in den MMLongBench- und MM-NIAH-Tests (Needle-in-a-Haystack). Darüber hinaus erstrecken sich die multimodalen Fähigkeiten von MMProLong auch auf Langvideo-Verständnisaufgaben ohne spezifisches Training, eine Strategie, die ebenfalls am Qwen3-VL-8B-Modell validiert wurde.
Diese Studie bietet einen alternativen Entwicklungspfad für die große Modellindustrie und steht im Gegensatz zu Ansätzen wie denen von DeepSeek, die sich auf die Verbesserung der Architektur durch hochkomprimierte und neu angeordnete visuelle Daten konzentrieren. Sie zeigt, dass Langkontext-Fähigkeiten erheblich verbessert werden können, indem die Struktur der Trainingsdaten optimiert wird, anstatt die zugrunde liegende Architektur zu ändern, und ebnet den Weg für kostengünstigere und effizientere technische Lösungen für zukünftige multimodale Systeme und Multi-Step-Agenten.
Verwandter Artikel
Ein weiterer Kunde des angeschlagenen Startups Delve ist von einem schweren Sicherheitsvorfall betroffen
Das Compliance-Startup Delve sieht sich weiterhin einer Reihe eskalierender Kontroversen ausgesetzt.TechCrunch hat bestätigt, dass Delve die Sicherheitszertifizierungen für Context AI durchgeführt hat, ein Unternehmen, das sich auf das Training von K
Google stellt Gemini 3.8 Flash TTS vor und ermöglicht so die natürliche Sprachanpassung sowie eine 30-Sekunden-Replikation
Die Sprachsynthese erreicht neue Höhen der Präzision. Am 23. September stellte Google zwei fortschrittliche Text-zu-Sprache-Modelle vor – Gemini 3.8 Flash TTS und Gemini 3.8 Flash-Lite TTS –, die darauf ausgelegt sind, den vielfältigen Anforderungen
MiniMax Code 2.0 Desktop veröffentlicht: Lange Aufgaben frieren nicht mehr ein, Fernsteuerung und Browser-Übernahme kommen diesen Monat
Entwickler, die sich mit langkettigen Codierungsaufgaben befassen, kennen die Frustration nur zu gut, dass Agenten plötzlich den Kontext verlieren oder ohne Reaktion einfrieren, was zu verschwendeter Mühe und der Notwendigkeit manueller Bereinigung f
Empfehlungen zu verwandten Spezialthemen
Akademische Forschung
Die besten KI-gestützten Tools zur Entdeckung von Studien: Finden Sie Zeitschriften, Datensätze und Trends schnell
2026 Neueste Besten Top-bewerteten KI-Studien-Entdeckungstools sind hier auf XIX.AI! Diese kuratierte Liste umfasst leistungsstarke, bahnbrechende Ressourcen für den schnellen Zugriff auf Fachzeitschriften, Datensätze und Branchentrends. Erhalten Sie einen kostenlosen versus kostenpflichtigen Vergleich sowie reale Tests und wöchentlich aktualisierte Rankings. Unverzichtbare Optionen helfen, Ihre Forschungseffizienz zu steigern und Ihren KI-Vorteil freizuschalten. Entdecken Sie jetzt Ihr perfektes Tool!
10 Tools
xix.ai
Marketing
KI-Tools für E-Mail-Kampagnen im Lebenszyklus-Marketing
Die besten und am besten bewerteten KI-Tools für E-Mail-Kampagnen im Lifecycle-Marketing 2026! XIX.AI hat eine leistungsstarke, bahnbrechende Auswahl an Lösungen zusammengestellt, die Sie unbedingt ausprobieren sollten: Sie steigern die Effizienz beim Verfassen von Texten, helfen bei der Erstellung zielgerichteter Inhalte und optimieren gesamte Marketing-Workflows. Profitieren Sie von wöchentlich aktualisierten Rankings, Praxistests und einem Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten, um das perfekte Tool für Ihre Anforderungen zu finden. Entdecken Sie jetzt die Möglichkeiten und sichern Sie sich Ihren KI-Vorteil!
11 Tools
xix.ai
Finanzen
Die besten Tools für die KI-Investmentanalyse: Signale und Portfoliorisiken vergleichen
Die aktuellsten und am besten bewerteten KI-Tools für die Anlageanalyse des Jahres 2026 finden Sie hier auf XIX.AI! Diese sorgfältig zusammengestellte Liste enthält äußerst präzise Signale zur Bewertung von Portfoliorisiken und hilft Ihnen dabei, klügere, datengestützte Entscheidungen zu treffen. Wir führen wöchentlich Praxistests durch, um die Rangliste zu aktualisieren, und bieten einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten. Entdecken Sie noch heute das perfekte Tool, um die Effizienz Ihrer Anlageanalysen zu steigern. Jetzt entdecken!
10 Tools
xix.ai
Chatbot
KI-basierte Chatbot-Tools für den Kundensupport auf Websites
Die besten und am besten bewerteten KI-Chatbot-Tools für den Website-Support im Jahr 2026 finden Sie hier auf XIX.AI! Unsere sorgfältig zusammengestellte Liste enthält leistungsstarke, bahnbrechende Lösungen, die die Reaktionszeiten verkürzen, die Kundenzufriedenheit steigern und jede Menge manuelle Arbeit einsparen. Jede Option wird strengen Praxistests unterzogen, ergänzt durch einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten. Entdecken Sie jetzt das perfekte Tool, um die Effizienz Ihres Online-Supports zu steigern!
10 Tools
xix.ai
Soziale Medien
Instagram-Tools mit KI zur Beantwortung von Kommentaren für Shops, Direktnachrichten und Community-Management
Die besten Instagram-Tools für KI-Kommentarantworten 2026 für Shops, Direktnachrichten und Community-Management! XIX.AI hat eine Liste der besten und leistungsstärksten Lösungen zusammengestellt, die bahnbrechende Neuerungen bieten – mit wöchentlich aktualisierten Rankings, einem Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten sowie Tests unter realen Bedingungen. Diese Tools, die Sie unbedingt ausprobieren sollten, tragen dazu bei, die Produktivität erheblich zu steigern, indem sie die Beantwortung von Nachrichten optimieren, Zeit sparen und die Kundenbindung auf allen Social-Media-Plattformen verbessern. Entdecken Sie jetzt das perfekte Tool für ein reibungsloses Community-Management!
10 Tools
xix.ai
Bildbearbeitung
Die besten KI-Tools zur Fotoretusche für die Bearbeitung von Porträts
Die besten und am besten bewerteten KI-Tools zur Fotoretusche für Porträts im Jahr 2026 finden Sie hier auf XIX.AI! Diese sorgfältig zusammengestellte Liste enthält leistungsstarke, bahnbrechende Lösungen, die Kreativen helfen, ihre Arbeitseffizienz zu steigern und ihr volles kreatives Potenzial zu entfalten. Wir führen Praxistests durch und bieten detaillierte Vergleiche zwischen kostenlosen und kostenpflichtigen Angeboten sowie wöchentlich aktualisierte Rankings, damit Sie das perfekte Tool für makellose Porträtbearbeitung finden, das Sie unbedingt ausprobieren sollten. Stöbern Sie jetzt und entdecken Sie Ihre ideale Wahl!
12 Tools
xix.ai
Kommentare (0)
Am 24. Mai hat das ByteDance Seed-Team in Zusammenarbeit mit der Hong Kong University of Science and Technology einen Durchbruch im Training langer Dokumente für multimodale große Sprachmodelle (LMMs) vorgestellt. Unter Nutzung von Alibaba’s quelloffenem Qwen2.5-VL entwickelte das Team ein neues Modell namens MMProLong, das erhebliche Verbesserungen in der Verarbeitungseffizienz erzielte. Diese Forschung stellt herkömmliche Trainingsmethoden für lange Texte bei multimodalen Modellen in Frage und unterstreicht, wie wichtig eine strategische Datenorganisation für die Verbesserung der Langkontext-Fähigkeiten ist.
Die Studie adressiert zentrale Herausforderungen beim LMM-Training und zeigt, dass Frage-Antwort (QA)-Training, das auf spezifische Aufgaben zugeschnitten ist, weitaus effektiver ist als traditionelle Optical Character Recognition (OCR)-Transkription. Während sich alleinige Texttranskription nicht zur Verbesserung der Inhaltsabfrage in langen Kontexten bewährt – und die Leistung sogar verschlechtern kann – ermöglicht das Training mit Langkontext-QA-Paaren, die von einem unabhängigen Modell wie
Mit einer optimierten Strategie und einem bescheidenen Trainingsbudget von nur 128.000 Token behält MMProLong eine robuste Langtextstabilität bei und funktioniert effektiv, selbst wenn die Eingabelängen 256.000 oder 512.000 Token erreichen. Es übertrifft größere quelloffene Modelle wie InternVL3-38B und
Diese Studie bietet einen alternativen Entwicklungspfad für die große Modellindustrie und steht im Gegensatz zu Ansätzen wie denen von DeepSeek, die sich auf die Verbesserung der Architektur durch hochkomprimierte und neu angeordnete visuelle Daten konzentrieren. Sie zeigt, dass Langkontext-Fähigkeiten erheblich verbessert werden können, indem die Struktur der Trainingsdaten optimiert wird, anstatt die zugrunde liegende Architektur zu ändern, und ebnet den Weg für kostengünstigere und effizientere technische Lösungen für zukünftige multimodale Systeme und Multi-Step-Agenten.
Ein weiterer Kunde des angeschlagenen Startups Delve ist von einem schweren Sicherheitsvorfall betroffen
Das Compliance-Startup Delve sieht sich weiterhin einer Reihe eskalierender Kontroversen ausgesetzt.TechCrunch hat bestätigt, dass Delve die Sicherheitszertifizierungen für Context AI durchgeführt hat, ein Unternehmen, das sich auf das Training von K
Google stellt Gemini 3.8 Flash TTS vor und ermöglicht so die natürliche Sprachanpassung sowie eine 30-Sekunden-Replikation
Die Sprachsynthese erreicht neue Höhen der Präzision. Am 23. September stellte Google zwei fortschrittliche Text-zu-Sprache-Modelle vor – Gemini 3.8 Flash TTS und Gemini 3.8 Flash-Lite TTS –, die darauf ausgelegt sind, den vielfältigen Anforderungen
MiniMax Code 2.0 Desktop veröffentlicht: Lange Aufgaben frieren nicht mehr ein, Fernsteuerung und Browser-Übernahme kommen diesen Monat
Entwickler, die sich mit langkettigen Codierungsaufgaben befassen, kennen die Frustration nur zu gut, dass Agenten plötzlich den Kontext verlieren oder ohne Reaktion einfrieren, was zu verschwendeter Mühe und der Notwendigkeit manueller Bereinigung f
2026 Neueste Besten Top-bewerteten KI-Studien-Entdeckungstools sind hier auf XIX.AI! Diese kuratierte Liste umfasst leistungsstarke, bahnbrechende Ressourcen für den schnellen Zugriff auf Fachzeitschriften, Datensätze und Branchentrends. Erhalten Sie einen kostenlosen versus kostenpflichtigen Vergleich sowie reale Tests und wöchentlich aktualisierte Rankings. Unverzichtbare Optionen helfen, Ihre Forschungseffizienz zu steigern und Ihren KI-Vorteil freizuschalten. Entdecken Sie jetzt Ihr perfektes Tool!
10 Tools
xix.ai
Die besten und am besten bewerteten KI-Tools für E-Mail-Kampagnen im Lifecycle-Marketing 2026! XIX.AI hat eine leistungsstarke, bahnbrechende Auswahl an Lösungen zusammengestellt, die Sie unbedingt ausprobieren sollten: Sie steigern die Effizienz beim Verfassen von Texten, helfen bei der Erstellung zielgerichteter Inhalte und optimieren gesamte Marketing-Workflows. Profitieren Sie von wöchentlich aktualisierten Rankings, Praxistests und einem Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten, um das perfekte Tool für Ihre Anforderungen zu finden. Entdecken Sie jetzt die Möglichkeiten und sichern Sie sich Ihren KI-Vorteil!
11 Tools
xix.ai
Die aktuellsten und am besten bewerteten KI-Tools für die Anlageanalyse des Jahres 2026 finden Sie hier auf XIX.AI! Diese sorgfältig zusammengestellte Liste enthält äußerst präzise Signale zur Bewertung von Portfoliorisiken und hilft Ihnen dabei, klügere, datengestützte Entscheidungen zu treffen. Wir führen wöchentlich Praxistests durch, um die Rangliste zu aktualisieren, und bieten einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten. Entdecken Sie noch heute das perfekte Tool, um die Effizienz Ihrer Anlageanalysen zu steigern. Jetzt entdecken!
10 Tools
xix.ai
Die besten und am besten bewerteten KI-Chatbot-Tools für den Website-Support im Jahr 2026 finden Sie hier auf XIX.AI! Unsere sorgfältig zusammengestellte Liste enthält leistungsstarke, bahnbrechende Lösungen, die die Reaktionszeiten verkürzen, die Kundenzufriedenheit steigern und jede Menge manuelle Arbeit einsparen. Jede Option wird strengen Praxistests unterzogen, ergänzt durch einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten. Entdecken Sie jetzt das perfekte Tool, um die Effizienz Ihres Online-Supports zu steigern!
10 Tools
xix.ai
Die besten Instagram-Tools für KI-Kommentarantworten 2026 für Shops, Direktnachrichten und Community-Management! XIX.AI hat eine Liste der besten und leistungsstärksten Lösungen zusammengestellt, die bahnbrechende Neuerungen bieten – mit wöchentlich aktualisierten Rankings, einem Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten sowie Tests unter realen Bedingungen. Diese Tools, die Sie unbedingt ausprobieren sollten, tragen dazu bei, die Produktivität erheblich zu steigern, indem sie die Beantwortung von Nachrichten optimieren, Zeit sparen und die Kundenbindung auf allen Social-Media-Plattformen verbessern. Entdecken Sie jetzt das perfekte Tool für ein reibungsloses Community-Management!
10 Tools
xix.ai
Die besten und am besten bewerteten KI-Tools zur Fotoretusche für Porträts im Jahr 2026 finden Sie hier auf XIX.AI! Diese sorgfältig zusammengestellte Liste enthält leistungsstarke, bahnbrechende Lösungen, die Kreativen helfen, ihre Arbeitseffizienz zu steigern und ihr volles kreatives Potenzial zu entfalten. Wir führen Praxistests durch und bieten detaillierte Vergleiche zwischen kostenlosen und kostenpflichtigen Angeboten sowie wöchentlich aktualisierte Rankings, damit Sie das perfekte Tool für makellose Porträtbearbeitung finden, das Sie unbedingt ausprobieren sollten. Stöbern Sie jetzt und entdecken Sie Ihre ideale Wahl!
12 Tools
xix.ai
