Heim
OpenAI-Chefwissenschaftler zur Debatte über die Transparenz der KI-Reasoning: Komplexität stabil, kein plötzlicher Sprung

Am 2. September wandte sich Jakub Pachocki, Chief Scientist bei OpenAI, in einem Beitrag auf X an die öffentlichen Bedenken bezüglich des KI-Modells Astra und widerlegte die Behauptung, es arbeite ohne Aufsicht und verfüge über keine transparente Begründung.
Warum die Kontroverse ausbrach: Tiefe Rekursion verschleiert die Begründungspfade
Der Auslöser war ein detaillierter Bericht von The Information, der enthüllte, dass OpenAI mit der Technologie der „deep recurrence“ (tiefe Rekursion) experimentiert. Dieser Ansatz könnte die Fähigkeit der Forscher erschweren, den „Chain-of-Thought“-Begründungsprozess des Modells nachzuvollziehen.
Während Mainstream-Modelle wie ChatGPT, Claude und Gemini auf der Transformer-Architektur basieren – wobei Informationen in linearen Schritten verarbeitet werden und das Modell gelegentlich Begründungen in natürlicher Sprache ausgibt – spiegelt diese Ausgabe nicht immer die internen Berechnungen wider. „Deep Recurrence“ ermöglicht es Modellen, dieselben Netzwerkschichten wiederholt aufzurufen und die internen Zustände kontinuierlich zu aktualisieren. Im Gegensatz zu traditionellen linearen Strukturen kann diese Methode erhebliche Teile der Begründung in undurchsichtigen internen Zuständen halten, was es den Forschern erschwert, Entscheidungspfade über den Chain-of-Thought nachzuvollziehen. Nach Veröffentlichung des Berichts äußerte die KI-Community die Sorge, dass solche Technologien externe Überwachungstools behindern und die Transparenz darüber verringern könnten, wie Modelle zu ihren Schlussfolgerungen gelangen.
Pachocki klärt auf: Tiefe des Berechnungsgraphen bleibt beherrschbar
In seinem Beitrag äußerte Pachocki den Wunsch, einem „Wettlauf hin zu unüberwachter KI“ vorzubeugen, der durch irreführende Medienberichte angetrieben wird. Er präzisierte, dass die Tiefe des Berechnungsgraphen von Openais aktuellen fortschrittlichen Modellen, einschließlich Astra, weniger als doppelt so groß ist wie die von GPT-4, was darauf hindeutet, dass es keinen plötzlichen Sprung in der architektonischen Komplexität gibt, wie befürchtet.
Er merkte an, dass OpenAI seit der Einführung erster Begründungsmodelle Priorität darauf gelegt hat, die Überwachung des Chain-of-Thought aufrechtzuerhalten und zu nutzen. Diese Technologie ist entscheidend für das Verständnis, wie sich die Ausrichtung des Modells von den Trainingsdaten auf andere Bereiche verallgemeinert. Allerdings räumte er ein, dass die aktuelle Chain-of-Thought-Überwachung fragil ist und aus Gründen, die nichts mit architektonischen Änderungen zu tun haben, rückläufig ist. Das Team plant Maßnahmen zur Stärkung dieser Fähigkeit, die ein Kernziel der aktuellen Forschung darstellt. OpenAI bestätigte, dass es eine verbesserte Chain-of-Thought-Überwachung für Astra bereitstellen wird.
Die Tiefe des Berechnungsgraphen misst die Komplexität neuronaler Netzwerke und repräsentiert die sequenziellen Berechnungsschichten vom Input bis zum Output. Höhere Werte deuten auf komplexere Strukturen hin.
Verwandter Artikel
Apple und Google gehen eine Partnerschaft mit Anthropic ein, um eine 27 Jahre alte Sicherheitslücke mithilfe des „Glass Wing Protection“-Konzepts zu beheben
Da künstliche Intelligenz bei der Codegenerierung und beim logischen Schlussfolgern rasante Fortschritte macht, steht die Cybersicherheitslandschaft vor beispiellosen Herausforderungen. Vor kurzem hat
Die US-Marine entscheidet sich für „Blue Water Autonomy“ für Tiefsee-Vermessungsmissionen
Die „Liberty Class“ von Blue Water Autonomy ist ein 190 Fuß langes, autonomes Schiff aus Stahl. | Quelle: Blue Water AutonomyDas in Boston ansässige Technologie- und Schiffbauunternehmen Blue Water Au
OpenAI verspricht keine Strompreiserhöhungen und einen minimalen Wasserverbrauch für Rechenzentren
Amid wachsendem Widerstand gegen KI-Infrastruktur im gesamten Land wechselt OpenAI zu einer kooperativeren Strategie. Ein Bericht von Business Insider vom 23. Juli zeigt, dass OpenAI aktiv um Unterstützung durch die Gemeinschaft für das Projekt Camel
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)

Am 2. September wandte sich Jakub Pachocki, Chief Scientist bei OpenAI, in einem Beitrag auf X an die öffentlichen Bedenken bezüglich des KI-Modells Astra und widerlegte die Behauptung, es arbeite ohne Aufsicht und verfüge über keine transparente Begründung.
Warum die Kontroverse ausbrach: Tiefe Rekursion verschleiert die Begründungspfade
Der Auslöser war ein detaillierter Bericht von The Information, der enthüllte, dass OpenAI mit der Technologie der „deep recurrence“ (tiefe Rekursion) experimentiert. Dieser Ansatz könnte die Fähigkeit der Forscher erschweren, den „Chain-of-Thought“-Begründungsprozess des Modells nachzuvollziehen.
Während Mainstream-Modelle wie ChatGPT, Claude und Gemini auf der Transformer-Architektur basieren – wobei Informationen in linearen Schritten verarbeitet werden und das Modell gelegentlich Begründungen in natürlicher Sprache ausgibt – spiegelt diese Ausgabe nicht immer die internen Berechnungen wider. „Deep Recurrence“ ermöglicht es Modellen, dieselben Netzwerkschichten wiederholt aufzurufen und die internen Zustände kontinuierlich zu aktualisieren. Im Gegensatz zu traditionellen linearen Strukturen kann diese Methode erhebliche Teile der Begründung in undurchsichtigen internen Zuständen halten, was es den Forschern erschwert, Entscheidungspfade über den Chain-of-Thought nachzuvollziehen. Nach Veröffentlichung des Berichts äußerte die KI-Community die Sorge, dass solche Technologien externe Überwachungstools behindern und die Transparenz darüber verringern könnten, wie Modelle zu ihren Schlussfolgerungen gelangen.
Pachocki klärt auf: Tiefe des Berechnungsgraphen bleibt beherrschbar
In seinem Beitrag äußerte Pachocki den Wunsch, einem „Wettlauf hin zu unüberwachter KI“ vorzubeugen, der durch irreführende Medienberichte angetrieben wird. Er präzisierte, dass die Tiefe des Berechnungsgraphen von Openais aktuellen fortschrittlichen Modellen, einschließlich Astra, weniger als doppelt so groß ist wie die von GPT-4, was darauf hindeutet, dass es keinen plötzlichen Sprung in der architektonischen Komplexität gibt, wie befürchtet.
Er merkte an, dass OpenAI seit der Einführung erster Begründungsmodelle Priorität darauf gelegt hat, die Überwachung des Chain-of-Thought aufrechtzuerhalten und zu nutzen. Diese Technologie ist entscheidend für das Verständnis, wie sich die Ausrichtung des Modells von den Trainingsdaten auf andere Bereiche verallgemeinert. Allerdings räumte er ein, dass die aktuelle Chain-of-Thought-Überwachung fragil ist und aus Gründen, die nichts mit architektonischen Änderungen zu tun haben, rückläufig ist. Das Team plant Maßnahmen zur Stärkung dieser Fähigkeit, die ein Kernziel der aktuellen Forschung darstellt. OpenAI bestätigte, dass es eine verbesserte Chain-of-Thought-Überwachung für Astra bereitstellen wird.
Die Tiefe des Berechnungsgraphen misst die Komplexität neuronaler Netzwerke und repräsentiert die sequenziellen Berechnungsschichten vom Input bis zum Output. Höhere Werte deuten auf komplexere Strukturen hin.
Apple und Google gehen eine Partnerschaft mit Anthropic ein, um eine 27 Jahre alte Sicherheitslücke mithilfe des „Glass Wing Protection“-Konzepts zu beheben
Da künstliche Intelligenz bei der Codegenerierung und beim logischen Schlussfolgern rasante Fortschritte macht, steht die Cybersicherheitslandschaft vor beispiellosen Herausforderungen. Vor kurzem hat
Die US-Marine entscheidet sich für „Blue Water Autonomy“ für Tiefsee-Vermessungsmissionen
Die „Liberty Class“ von Blue Water Autonomy ist ein 190 Fuß langes, autonomes Schiff aus Stahl. | Quelle: Blue Water AutonomyDas in Boston ansässige Technologie- und Schiffbauunternehmen Blue Water Au
OpenAI verspricht keine Strompreiserhöhungen und einen minimalen Wasserverbrauch für Rechenzentren
Amid wachsendem Widerstand gegen KI-Infrastruktur im gesamten Land wechselt OpenAI zu einer kooperativeren Strategie. Ein Bericht von Business Insider vom 23. Juli zeigt, dass OpenAI aktiv um Unterstützung durch die Gemeinschaft für das Projekt Camel











