Ex-OpenAI Policy Lead Slams Company für die Änderung der KI-Sicherheitserzählung

# openai # policy

Ein ehemaliger OpenAI -Politikforscher, Miles Brundage, hat sich kürzlich in soziale Medien eingeleitet, um Openai für das zu rufen, was er als Versuch ansieht, die Geschichte seines Ansatzes zur Bereitstellung potenziell riskanter KI -Systeme umzuschreiben. In dieser Woche veröffentlichte OpenAI ein Dokument, in dem die aktuelle Haltung zur KI -Sicherheit und -ausrichtung beschrieben wurde, wobei der Prozess der Gewährleistung von AI -Systemen auf vorhersehbare und vorteilhafte Weise sichergestellt wird. Darin beschrieb Openai die Entwicklung von AGI- oder KI -Systemen, die zu jeder Aufgabe in der Lage sind, ein Mensch zu erledigen, als "kontinuierlicher Weg", der "iterativ eingesetzt und lernt" von AI -Technologien. "In einer diskontinuierlichen Welt [...] stammen Sicherheitsunterricht aus der Behandlung der heutigen Systeme mit übergroßer Vorsicht im Vergleich zu ihrer offensichtlichen Macht. "Wir betrachten jetzt die erste Agi als nur einen Punkt entlang einer Reihe von Systemen, in denen die Nützlichkeit [...] in der kontinuierlichen Welt erhöht wird. Der Weg, um das nächste System sicher und vorteilhaft zu machen, besteht darin, aus dem aktuellen System zu lernen." Brundage argumentiert jedoch, dass der vorsichtige Ansatz mit GPT-2 vollständig mit der aktuellen iterativen Bereitstellungsstrategie von OpenAI übereinstimmt. "OpenAIs Veröffentlichung von GPT-2, an dem ich beteiligt war, war zu 100% konsistent [mit und] die aktuelle Philosophie der iterativen Bereitstellung von Openai," Brundage hat auf X veröffentlicht. Brundage, der 2018 als Forschungswissenschaftler zu Openai kam und später zum Leiter der politischen Forschung des Unternehmens wurde, konzentrierte sich auf den verantwortungsvollen Einsatz von Systemen für Sprachgenerierung wie ChatGPT, während er sich auf das "Agi Readiness" -Team von OpenAs übersah. GPT-2, das 2019 von Openai angekündigt wurde, war ein Vorläufer der KI-Systeme hinter Chatgpt. Es könnte Fragen beantworten, Artikel zusammenfassen und Text generieren, der manchmal nicht vom menschlichen Schreiben zu unterscheiden war. Obwohl GPT-2 jetzt grundlegend erscheinen mag, war es damals bahnbrechend. Aufgrund von Bedenken hinsichtlich des möglichen Missbrauchs hat Openai zunächst den Quellcode des Modells zurückgehalten und ermöglicht ausgewählten Nachrichtenagenturen eingeschränkten Zugriff auf eine Demo. Die Entscheidung erhielt gemischte Feedback von der KI -Community. Einige argumentierten, dass die mit GPT-2 verbundenen Risiken überbewertet seien, und es gab keine Beweise für die Bedenken von OpenAI über Missbrauch. Die AI-fokussierte Veröffentlichung, die der Gradient sogar veröffentlichte, veröffentlichte sogar einen offenen Brief, in dem Openai aufgefordert wurde, das Modell zu veröffentlichen, und zitierte seine technologische Bedeutung. OpenAI veröffentlichte schließlich sechs Monate nach seiner Ankündigung eine Teilversion von GPT-2, gefolgt vom vollständigen System einige Monate später. Brundage ist der Ansicht, dass dies der richtige Ansatz war. "Welcher Teil von [der GPT-2-Veröffentlichung] wurde motiviert oder beruhte darauf, Agi als diskontinuierlich zu betrachten? Keine davon", erklärte er auf X. Brundage ist besorgt darüber, dass das Dokument von OpenAI darauf abzielt, eine hohe Beweislast festzulegen, bei der Bedenken als Alarmist abgewiesen werden, es sei denn, es gibt überwältigende Beweise für unmittelbar bevorstehende Gefahren. Er findet diese Denkweise für fortschrittliche KI -Systeme "sehr gefährlich". "Wenn ich noch bei OpenAI arbeiten würde, würde ich fragen, warum dieses [Dokument] so geschrieben wurde, wie es war und was genau Openai durch Kot zu erreichen hofft, auf eine so lopseitige Weise Vorsicht zu machen", fügte Brundage hinzu. OpenAI wurde in der Vergangenheit kritisiert Im vergangenen Jahr hat das Unternehmen sein AGI -Bereitschaftsteam aufgelöst, und mehrere KI -Sicherheits- und politische Forscher gingen für konkurrierende Unternehmen. Die Wettbewerbslandschaft hat sich intensiviert, wobei das R1 -Modell von Chinese AI Lab Deepseek offen verfügbar ist und das O1 -Modell "Argumenting" von Openai zu wichtigen Benchmarks entspricht und globale Aufmerksamkeit auf sich zieht. Sam Altman, CEO von OpenAI, hat anerkannt, dass Deepseek OpenAs technologischen Vorsprung eingeschränkt hat und OpenAI veranlasst hat, über den Beschleunigungsplan für den Beschleunigungsplan zu berücksichtigen. Da Openai Berichten zufolge milliarden jährlich verloren und bis 2026 Verluste auf drei bis 14 Milliarden US-Dollar prognostiziert, könnte ein schnellerer Produktfreisetzungszyklus kurzfristige Gewinne steigern, aber möglicherweise die langfristige Sicherheit beeinträchtigen. Experten wie Brundage fragen sich, ob sich dieser Kompromiss lohnt.

Verwandter Artikel

Kommentare (40)