Long Context Windows verstehen: wichtige Erkenntnisse

Gestern haben wir unseren neuesten Durchbruch in der AI -Technologie mit dem Gemini 1.5 -Modell vorgestellt. Diese neue Iteration bringt erhebliche Verbesserungen in Geschwindigkeit und Effizienz mit sich, aber der wirkliche Game-Changer ist sein innovatives langes Kontextfenster. Diese Funktion ermöglicht es dem Modell, eine beispiellose Anzahl von Token - die grundlegenden Einheiten, die Wörter, Bilder oder Videos ausmachen - auf einmal verarbeiten. Um diesen Fortschritt zu beleuchten, haben wir uns an das Google DeepMind -Projektteam gewandt, um Einblicke in die langen Kontextfenster zu machen und wie sie die Funktionsweise der Entwickler revolutionieren können.

Das Verständnis des langen Kontextfensters ist von entscheidender Bedeutung, da sie es AI -Modellen ermöglichen, Informationen während einer Sitzung aufrechtzuerhalten und abzurufen. Stellen Sie sich vor, Sie versuchen, sich nur wenige Minuten nach dem erwähnten Gespräch an einen Namen zu erinnern oder sich zu beeilen, eine Telefonnummer aufzuschreiben, bevor Sie sich in den Sinn bringen. KI -Modelle stehen vor ähnlichen Herausforderungen, die nach einigen Interaktionen häufig Details "vergessen". Long Context Windows adressiert dieses Problem, indem es dem Modell erlaubt, weitere Informationen in seinem "Speicher" zu behalten.

Zuvor konnte das Gemini -Modell bis zu 32.000 Token gleichzeitig verarbeiten. Mit der Veröffentlichung von 1,5 Pro für frühzeitige Tests haben wir die Grenzen jedoch auf erstaunliche 1 Million Token überschritten-das größte Kontextfenster eines bisherigen groß angelegten Fundamentmodells. Unsere Forschung ist sogar darüber hinausgegangen und hat erfolgreich bis zu 10 Millionen Token getestet. Je größer das Kontextfenster ist, desto vielfältiger und umfangreicher die Daten - Text, Bilder, Audio, Code oder Video - das Modell verarbeiten.

Nikolay Savinov, ein Forschungswissenschaftler von Google Deepmind und einer der Vorführungen für das lange Kontextprojekt, teilte: "Unser ursprüngliches Ziel war es, 128.000 Token zu erreichen, aber ich dachte, das Zielen höher wäre vorteilhaft, also habe ich 1 Million Token vorgeschlagen. Und jetzt hat unsere Forschung dies zu zehnmal überschritten."

Um diesen Sprung zu erreichen, erforderte eine Reihe von Deep -Learning -Innovationen. Die frühen Erkundungen von Pranav Shyam lieferten wichtige Erkenntnisse, die unsere Forschung leiteten. Denis Teplyashin, ein Ingenieur von Google DeepMind, erklärte: "Jeder Durchbruch führte zu einer anderen, die neue Möglichkeiten eröffnete. Als diese Innovationen zusammen waren, waren wir erstaunt über die Ergebnisse, die von 128.000 Token auf 512.000, dann 1 Million und kürzlich 10 Millionen Token in unserer internen Forschung skaliert wurden."

Die erweiterte Kapazität von 1,5 Pro eröffnet aufregende neue Anwendungen. Anstatt ein Dokument zusammenzufassen, das dutzende Seiten lang ist, kann es jetzt mit Dokumenten mit Tausenden von Seiten umgehen. Wenn das Vorgängermodell Tausende von Codezeilen analysieren könnte, kann 1,5 Pro jetzt Zehntausende von Zeilen gleichzeitig verarbeiten.

Machel Reid, ein weiterer Forschungswissenschaftler von Google DeepMind, teilte einige faszinierende Testergebnisse mit: "In einem Test haben wir die gesamte Codebasis in das Modell gefüttert und eine umfassende Dokumentation dafür generiert, was unglaublich war.

1.5 Pro zeichnet sich auch in der Eingabeaufforderung über Daten hinweg. Machel betonte ein Beispiel mit der seltenen Sprache Kalamang, die von weniger als 200 Menschen weltweit gesprochen wurde. "Das Modell kann nicht alleine in Kalamang übersetzen, aber mit dem langen Kontextfenster konnten wir das gesamte Grammatikhandbuch und Beispielsätze einbeziehen. Das Modell lernte dann, auf einer Ebene, die mit jemandem, der aus demselben Material lernt, von Englisch nach Kalamang zu übersetzen, übersetzt."

Gemini 1.5 Pro verfügt über ein Standardfenster mit einem Standardfenster von 128 k-gequerdigten Kontext, aber eine ausgewählte Gruppe von Entwicklern und Unternehmenskunden kann über AI Studio und Vertex AI in der privaten Vorschau auf ein 1-Million-Token-Kontextfenster zugreifen. Das Verwalten eines so großen Kontextfensters ist rechnerisch intensiv, und wir arbeiten aktiv an Optimierungen, um die Latenz zu verringern, wenn wir sie skalieren.

Mit Blick auf die Zukunft konzentriert sich das Team darauf, das Modell schneller und effizienter zu gestalten, mit Sicherheit. Sie untersuchen auch Möglichkeiten, das lange Kontextfenster weiter zu erweitern, die zugrunde liegenden Architekturen zu verbessern und neue Hardwareverbesserungen zu nutzen. Nikolay bemerkte: "10 Millionen Token auf einmal stehen der Wärmegrenze unserer Tensor -Verarbeitungseinheiten. Wir sind uns nicht sicher, wo sich die Grenze noch befindet, und das Modell könnte noch mehr in der Lage sein, noch mehr Hardware zu entwickeln."

Das Team ist bestrebt, die innovativen Anwendungen zu sehen, die Entwickler und die breitere Gemeinschaft mit diesen neuen Funktionen schaffen werden. Machel dachte: "Als ich zum ersten Mal sah, dass wir eine Million Token im Kontext hatten, fragte ich mich:" Wofür benutzt du das überhaupt? " Aber jetzt glaube ich, dass sich die Vorstellungen der Menschen erweitern werden, was zu kreativeren Nutzungen dieser neuen Fähigkeiten führt. "

[TTPP] [yyxx]