Die neuesten KI -Modelle von Openai haben einen neuen Schutz, um Bioritäten zu verhindern

Neue Sicherheitsmaßnahmen von OpenAI für die KI-Modelle o3 und o4-mini

OpenAI hat ein neues Überwachungssystem für seine fortschrittlichen KI-Modelle o3 und o4-mini eingeführt, das speziell darauf ausgelegt ist, Antworten auf Eingaben zu erkennen und zu verhindern, die mit biologischen und chemischen Bedrohungen in Verbindung stehen. Dieser „sicherheitsorientierte Reasoning-Monitor“ ist eine Reaktion auf die erweiterten Fähigkeiten dieser Modelle, die laut OpenAI einen bedeutenden Fortschritt gegenüber ihren Vorgängern darstellen und von böswilligen Akteuren missbraucht werden könnten.

Die internen Benchmarks des Unternehmens zeigen, dass insbesondere o3 eine höhere Kompetenz bei der Beantwortung von Fragen zur Herstellung bestimmter biologischer Bedrohungen aufweist. Um dieses und andere potenzielle Risiken anzugehen, hat OpenAI dieses neue System entwickelt, das parallel zu o3 und o4-mini arbeitet. Es ist darauf trainiert, Eingaben zu erkennen und abzulehnen, die zu schädlichen Ratschlägen in Bezug auf biologische und chemische Risiken führen könnten.

Testen und Ergebnisse

Um die Wirksamkeit dieses Sicherheitsmonitors zu bewerten, führte OpenAI umfangreiche Tests durch. Red-Teamer verbrachten etwa 1.000 Stunden damit, „unsichere“ Gespräche zu Biorisiken zu identifizieren, die von o3 und o4-mini generiert wurden. In einer Simulation der „Blockierlogik“ des Monitors lehnten die Modelle in 98,7 % der Fälle riskante Eingaben erfolgreich ab.

OpenAI gibt jedoch zu, dass der Test Szenarien, in denen Nutzer nach einer Blockierung andere Eingaben versuchen könnten, nicht berücksichtigt hat. Daher plant das Unternehmen, weiterhin menschliche Überwachung als Teil seiner Sicherheitsstrategie einzusetzen.

Risikobewertung und fortlaufende Überwachung

Trotz ihrer fortschrittlichen Fähigkeiten überschreiten o3 und o4-mini nicht die „hohe Risiko“-Schwelle von OpenAI für Biorisiken. Dennoch waren frühe Versionen dieser Modelle im Vergleich zu o1 und GPT-4 besser in der Lage, Fragen zur Entwicklung biologischer Waffen zu beantworten. OpenAI überwacht aktiv, wie diese Modelle die Entwicklung chemischer und biologischer Bedrohungen erleichtern könnten, wie im aktualisierten Preparedness Framework beschrieben.

OpenAI setzt zunehmend auf automatisierte Systeme, um die Risiken zu managen, die von seinen Modellen ausgehen. Zum Beispiel wird ein ähnlicher Reasoning-Monitor verwendet, um zu verhindern, dass der Bildgenerator von GPT-4o Material zu sexuellem Kindesmissbrauch (CSAM) erstellt.

Bedenken und Kritik

Trotz dieser Bemühungen argumentieren einige Forscher, dass OpenAI der Sicherheit möglicherweise nicht genügend Priorität einräumt. Einer der Red-Teaming-Partner von OpenAI, Metr, stellte fest, dass sie nur begrenzte Zeit hatten, um o3 auf täuschendes Verhalten zu testen. Zudem entschied sich OpenAI, keinen Sicherheitsbericht für das kürzlich eingeführte GPT-4.1-Modell zu veröffentlichen, was weitere Bedenken hinsichtlich des Engagements des Unternehmens für Transparenz und Sicherheit aufwirft.