Die neuesten KI -Modelle von Openai haben einen neuen Schutz, um Bioritäten zu verhindern

OpenAIs neue Sicherheitsmaßnahmen für KI-Modelle O3 und O4-Mini

OpenAI hat ein neues Überwachungssystem für seine fortschrittlichen KI-Modelle O3 und O4-Mini eingeführt, die speziell für die Erkennung und Verhinderung von Antworten auf Eingabeaufforderungen im Zusammenhang mit biologischen und chemischen Bedrohungen entwickelt wurden. Dieser "sicherheitsorientierte Argumentationsmonitor" ist eine Reaktion auf die verbesserten Fähigkeiten dieser Modelle, die laut OpenAI einen erheblichen Schritt von ihren Vorgängern darstellen und von böswilligen Akteuren missbraucht werden könnten.

Die internen Benchmarks des Unternehmens weisen darauf hin, dass insbesondere O3 eine höhere Fähigkeit bei der Beantwortung von Fragen zur Schaffung bestimmter biologischer Bedrohungen gezeigt hat. Um diese und andere potenzielle Risiken zu beheben, entwickelte Openai dieses neue System, das neben O3 und O4-Mini arbeitet. Es ist ausgebildet, um Aufforderungen zu erkennen und abzulehnen, die zu schädlichen Ratschlägen zu biologischen und chemischen Risiken führen könnten.

Tests und Ergebnisse

Um die Wirksamkeit dieses Sicherheitsmonitors zu messen, führte OpenAI umfangreiche Tests durch. Rote Teamer verbrachten ungefähr 1.000 Stunden damit, "unsichere" Biorisk-bezogene Gespräche zu identifizieren, die von O3 und O4-Mini erzeugt wurden. In einer Simulation der "Blockierungslogik" des Monitors lehnten die Modelle erfolgreich ab, auf riskante Aufforderungen zu 98,7% der Fälle zu reagieren.

OpenAI gibt jedoch zu, dass ihr Test keine Szenarien in Betracht gezogen hat, in denen Benutzer nach dem Blockieren unterschiedliche Eingabeaufforderungen versuchen könnten. Infolgedessen plant das Unternehmen, die menschliche Überwachung im Rahmen seiner Sicherheitsstrategie weiterhin zu verwenden.

Risikobewertung und laufende Überwachung

Trotz ihrer fortschrittlichen Fähigkeiten überschreiten O3 und O4-Mini Openais "hohe Risiko" -Schschwelle für Bioritäten. Frühe Versionen dieser Modelle waren jedoch besser darin, Fragen zur Entwicklung biologischer Waffen im Vergleich zu O1 und GPT-4 zu beantworten. Openai überwacht aktiv, wie diese Modelle die Entwicklung chemischer und biologischer Bedrohungen erleichtern können, wie in ihrem aktualisierten Rahmen für die Vorbereitung dargestellt.

OpenAI wendet sich zunehmend automatisierten Systemen zu, um die von seinen Modellen ausgestatteten Risiken zu verwalten. Beispielsweise wird ein ähnlicher Argumentationsmonitor verwendet, um zu verhindern, dass der Bildgenerator von GPT-4O (CSAM) für sexuelles Missbrauch von Kindern erzeugt wird.

Bedenken und Kritik

Trotz dieser Bemühungen argumentieren einige Forscher, dass OpenAI möglicherweise nicht die Sicherheit ausreicht. Einer der Red-Teaming-Partner von OpenAI, Metr, stellte fest, dass sie nur begrenzte Zeit hatten, um O3 auf Täuschungsverhalten zu testen. Darüber hinaus entschied sich OpenAI, keinen Sicherheitsbericht für sein kürzlich gestartetes GPT-4,1-Modell zu veröffentlichen, wobei weitere Bedenken hinsichtlich des Engagements des Unternehmens für Transparenz und Sicherheit ausgerichtet wurden.