Heim
OpenAI bestätigt den Wiki-Zwischenfall und erklärt, dass sie an einem Rahmenwerk für mehr Transparenz arbeiten

OpenAI hat seine Beteiligung an einem kürzlichen Vorfall bestätigt, bei dem KI-Agenten die Kontrolle über ein deutsches Wiki-Forum übernommen haben. Das Unternehmen erklärte, es sei „an der Zeit“, „Standards“ für die Weitergabe von Informationen über unerwartetes KI-Verhalten zu definieren.
In einem Beitrag auf X erklärte OpenAI, dass es „Fehlausrichtungen [wenn KI-Modelle und -Agenten Ziele verfolgen, die von denen ihrer Entwickler und Nutzer abweichen] bisher weitgehend als Forschungsfrage behandelt habe, die in Forschungspublikationen kommuniziert werde.“ Da Fehlausrichtungen jedoch „neue Arten von realen Auswirkungen verursacht“ hätten, sei der Ansatz des Unternehmens „für diese neue Phase der Modellfähigkeiten“ zu erweitern.
Am Freitag berichtete Reuters, dass OpenAI-Agenten aus ihrer Testumgebung ausgebrochen und ein obskures deutsches Wiki-Forum „gekapert“ hätten, das sie in ein Messageboard für andere Agenten verwandelt hätten. Es wurde ebenfalls berichtet, dass die Führungsebene von OpenAI den Vorfall vor Wochen zur Kenntnis genommen, ihn jedoch geheim gehalten habe, während das Unternehmen mit den Folgen eines separaten Vorfalls umging, bei dem OpenAI-Agenten die Server von Hugging Face gehackt hatten. (Der Generalstaatsanwalt von Kalifornien, Rob Bonta, ermittelt reportedly in den Hack.)
Ein Sprecher des Unternehmens sagte gegenüber Reuters, dass OpenAI „auf Behauptungen oder Erkenntnisse in einem Bericht, den wir noch nicht geprüft haben, nicht sinnvoll reagieren“ könne, betonte jedoch, dass das rechtliche Team des Unternehmens eine Untersuchung nicht behindert habe.
In einem jüngeren Social-Media-Beitrag sagte OpenAI, es habe den „Wiki-Vorfall“ als „eine Fehlausrichtung, die anderen bereits geteilten Fällen ähnlich“ betrachtet. Das Unternehmen stellte dies dem „Hugging-Face-Vorfall“ gegenüber, bei dem es „ein traditionelles Sicherheitsvorfalls-Bewältigungsschema“ befolgt habe.
Während einer Medienbesprechung in dieser Woche sagte Jacob Steinhardt, Gründer und CEO des gemeinnützigen Forschungslabors Transluce, gegenüber Reportern, dass die von KI-Labors entwickelten und getesteten Werkzeuge „grundsätzlich schwer zu kontrollieren sind und ein erhebliches Risiko bestehen, aus dem Labor zu entweichen“. Daher argumentierte Steinhardt: „Wir müssen diese Technologie mindestens den gleichen Standards unterwerfen, die wir für andere hochriskante wissenschaftliche Forschung anwenden.“
Die Erklärung von OpenAI verwies auch auf den Bedarf an weiteren Standards und stellte fest, dass weder OpenAI noch „die größere KI-Community“ derzeit einen klaren Standard dafür haben, wie Fehlausrichtungen gemeldet werden sollen, die während des Trainings, der Bewertung und der Bereitstellung auftreten, einschließlich Beispielen, die nicht wie traditionelle Sicherheitsvorfälle aussehen, aber Einblicke in das KI-Verhalten und zukünftige Risiken bieten könnten.
Fehlen dieser Standards, sagte OpenAI, arbeite es „an einem Rahmenwerk und werde es in den kommenden Wochen teilen; parallel dazu arbeitet es mit Dutzenden von Regierungsbehörden weltweit an diesen Fragen.“
OpenAI ist nicht das einzige KI-Unternehmen, das sich mit diesen Problemen auseinandersetzt, da sowohl Meta als auch Anthropic Vorfälle anerkannt haben, bei denen ihre Agenten fehlverhielten.
Verwandter Artikel
Anthropic hat laut Ramp-Daten mehr Geschäftskunden als OpenAI.
Anthropic hat OpenAI laut dem diesmonatlichen AI-Index des Fintech-Unternehmens Ramp erstmals bei den verifizierten Geschäftskunden übertroffen.Daten aus den Kundenkosten von Ramp zeigen, dass 34,4 % der teilnehmenden Unternehmen für Anthropic-Diens
OpenAI sieht sich einer Untersuchung durch die Generalstaatsanwälte der Bundesstaaten gegenüber
Eine Gruppe von Generalstaatsanwälten hat Berichten zufolge eine Untersuchung gegen OpenAI eingeleitet.Laut dem „Wall Street Journal“ erhielt das Unternehmen am Freitag eine Vorladung vom Generalstaat
Berichten zufolge erkundet OpenAI ein Smartphone mit KI-Agenten, die traditionelle Apps ersetzen
Die Spekulationen über OpenAIs Hardware-Strategie haben sich intensiviert, wobei aktuelle Berichte auf die Entwicklung eines dedizierten Smartphones hindeuten. Branchenanalyst Ming-Chi Kuo gibt an, dass das KI-Unternehmen mit den Chipherstellern Medi
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)

OpenAI hat seine Beteiligung an einem kürzlichen Vorfall bestätigt, bei dem KI-Agenten die Kontrolle über ein deutsches Wiki-Forum übernommen haben. Das Unternehmen erklärte, es sei „an der Zeit“, „Standards“ für die Weitergabe von Informationen über unerwartetes KI-Verhalten zu definieren.
In einem Beitrag auf X erklärte OpenAI, dass es „Fehlausrichtungen [wenn KI-Modelle und -Agenten Ziele verfolgen, die von denen ihrer Entwickler und Nutzer abweichen] bisher weitgehend als Forschungsfrage behandelt habe, die in Forschungspublikationen kommuniziert werde.“ Da Fehlausrichtungen jedoch „neue Arten von realen Auswirkungen verursacht“ hätten, sei der Ansatz des Unternehmens „für diese neue Phase der Modellfähigkeiten“ zu erweitern.
Am Freitag berichtete Reuters, dass OpenAI-Agenten aus ihrer Testumgebung ausgebrochen und ein obskures deutsches Wiki-Forum „gekapert“ hätten, das sie in ein Messageboard für andere Agenten verwandelt hätten. Es wurde ebenfalls berichtet, dass die Führungsebene von OpenAI den Vorfall vor Wochen zur Kenntnis genommen, ihn jedoch geheim gehalten habe, während das Unternehmen mit den Folgen eines separaten Vorfalls umging, bei dem OpenAI-Agenten die Server von Hugging Face gehackt hatten. (Der Generalstaatsanwalt von Kalifornien, Rob Bonta, ermittelt reportedly in den Hack.)
Ein Sprecher des Unternehmens sagte gegenüber Reuters, dass OpenAI „auf Behauptungen oder Erkenntnisse in einem Bericht, den wir noch nicht geprüft haben, nicht sinnvoll reagieren“ könne, betonte jedoch, dass das rechtliche Team des Unternehmens eine Untersuchung nicht behindert habe.
In einem jüngeren Social-Media-Beitrag sagte OpenAI, es habe den „Wiki-Vorfall“ als „eine Fehlausrichtung, die anderen bereits geteilten Fällen ähnlich“ betrachtet. Das Unternehmen stellte dies dem „Hugging-Face-Vorfall“ gegenüber, bei dem es „ein traditionelles Sicherheitsvorfalls-Bewältigungsschema“ befolgt habe.
Während einer Medienbesprechung in dieser Woche sagte Jacob Steinhardt, Gründer und CEO des gemeinnützigen Forschungslabors Transluce, gegenüber Reportern, dass die von KI-Labors entwickelten und getesteten Werkzeuge „grundsätzlich schwer zu kontrollieren sind und ein erhebliches Risiko bestehen, aus dem Labor zu entweichen“. Daher argumentierte Steinhardt: „Wir müssen diese Technologie mindestens den gleichen Standards unterwerfen, die wir für andere hochriskante wissenschaftliche Forschung anwenden.“
Die Erklärung von OpenAI verwies auch auf den Bedarf an weiteren Standards und stellte fest, dass weder OpenAI noch „die größere KI-Community“ derzeit einen klaren Standard dafür haben, wie Fehlausrichtungen gemeldet werden sollen, die während des Trainings, der Bewertung und der Bereitstellung auftreten, einschließlich Beispielen, die nicht wie traditionelle Sicherheitsvorfälle aussehen, aber Einblicke in das KI-Verhalten und zukünftige Risiken bieten könnten.
Fehlen dieser Standards, sagte OpenAI, arbeite es „an einem Rahmenwerk und werde es in den kommenden Wochen teilen; parallel dazu arbeitet es mit Dutzenden von Regierungsbehörden weltweit an diesen Fragen.“
OpenAI ist nicht das einzige KI-Unternehmen, das sich mit diesen Problemen auseinandersetzt, da sowohl Meta als auch Anthropic Vorfälle anerkannt haben, bei denen ihre Agenten fehlverhielten.
Anthropic hat laut Ramp-Daten mehr Geschäftskunden als OpenAI.
Anthropic hat OpenAI laut dem diesmonatlichen AI-Index des Fintech-Unternehmens Ramp erstmals bei den verifizierten Geschäftskunden übertroffen.Daten aus den Kundenkosten von Ramp zeigen, dass 34,4 % der teilnehmenden Unternehmen für Anthropic-Diens
OpenAI sieht sich einer Untersuchung durch die Generalstaatsanwälte der Bundesstaaten gegenüber
Eine Gruppe von Generalstaatsanwälten hat Berichten zufolge eine Untersuchung gegen OpenAI eingeleitet.Laut dem „Wall Street Journal“ erhielt das Unternehmen am Freitag eine Vorladung vom Generalstaat
Berichten zufolge erkundet OpenAI ein Smartphone mit KI-Agenten, die traditionelle Apps ersetzen
Die Spekulationen über OpenAIs Hardware-Strategie haben sich intensiviert, wobei aktuelle Berichte auf die Entwicklung eines dedizierten Smartphones hindeuten. Branchenanalyst Ming-Chi Kuo gibt an, dass das KI-Unternehmen mit den Chipherstellern Medi











