Anthropic führt angesichts steigender Risiken neue KI-Schutzmaßnahmen ein

Anthropic hat die Nutzungsrichtlinien für seinen KI-Chatbot Claude aktualisiert, um wachsenden Sicherheitsbedenken Rechnung zu tragen. Neben strengeren Cybersicherheitsregeln nennt das Unternehmen nun ausdrücklich Kategorien gefährlicher Waffen, die nicht mit Claude entwickelt werden dürfen.
In der offiziellen Ankündigung werden die Änderungen an den Waffenrichtlinien zwar nicht ausdrücklich hervorgehoben, ein Vergleich zwischen den alten und den neuen Nutzungsrichtlinien zeigt jedoch eine bedeutende Aktualisierung. Zuvor war es Anthropic weitgehend untersagt, Claude zu verwenden, um "Waffen, Sprengstoffe, gefährliche Materialien oder andere Systeme zu produzieren, zu modifizieren, zu entwerfen, zu vermarkten oder zu vertreiben, die dazu bestimmt sind, Menschen Schaden zuzufügen oder ihr Leben zu zerstören". Die überarbeitete Richtlinie erweitert dies, indem sie speziell die Entwicklung von Sprengstoffen mit hoher Sprengkraft sowie von biologischen, nuklearen, chemischen und radiologischen (CBRN) Waffen verbietet.
Im Mai führte Anthropic zeitgleich mit der Markteinführung seines neuen Modells Claude Opus 4 die Schutzmaßnahmen der "AI-Sicherheitsstufe 3" ein. Diese Sicherheitsvorkehrungen sollen das Modell widerstandsfähiger gegen Jailbreaking machen und verhindern, dass es zur Herstellung von CBRN-Waffen beiträgt.
In seiner Ankündigung erkennt Anthropic auch die Risiken an, die mit agentenbasierten KI-Tools wie Computer Use - das es Claude ermöglicht, den Computer eines Benutzers zu kontrollieren - und Claude Code - das Claude direkt in das Terminal eines Entwicklers integriert - verbunden sind. "Diese mächtigen Fähigkeiten bringen neue Risiken mit sich, einschließlich des Potenzials für skalierten Missbrauch, die Erstellung von Malware und Cyberangriffe", so das Unternehmen.
Siehe
- Anthropic lanciert neuen Claude-Dienst für Militär und Geheimdienste
- Google nimmt sein Versprechen zurück, keine KI-Waffen zu entwickeln
Das KI-Startup geht auf diese potenziellen Bedrohungen ein, indem es einen neuen Abschnitt mit dem Titel "Do Not Compromise Computer or Network Systems" (Computer- oder Netzwerksysteme nicht kompromittieren) in seine Nutzungsrichtlinien aufnimmt. Dieser Abschnitt enthält Regeln gegen die Verwendung von Claude, um Schwachstellen zu entdecken oder auszunutzen, Malware zu erstellen oder zu verbreiten, Tools für Denial-of-Service-Angriffe zu entwickeln und ähnliche Aktivitäten.
Darüber hinaus lockert Anthropic seine Politik in Bezug auf politische Inhalte. Anstatt die Erstellung von Inhalten im Zusammenhang mit politischen Kampagnen und Lobbying zu verbieten, verbietet das Unternehmen nun nur noch die Verwendung von Claude für "Anwendungsfälle, die irreführend oder störend für demokratische Prozesse sind oder die Wähler- und Kampagnenausrichtung beinhalten". Anthropic hat außerdem klargestellt, dass seine Anforderungen für alle "risikoreichen" Anwendungsfälle - die gelten, wenn Claude verwendet wird, um Empfehlungen an Einzelpersonen oder Kunden zu geben - nur für Szenarien relevant sind, die sich an Verbraucher richten, und nicht für die interne geschäftliche Nutzung.
Verwandter Artikel
Warner Music übernimmt das KI-Zuschreibungsstart-up Sureel AI
Warner Music Group (WMG) hat am Mittwoch bestätigt, dass es Sureel AI, ein Startup für KI-gestützte Attribution, übernimmt. Die proprietäre Technologie von Sureel generiert „AI-DNA“ für Musikstücke, indem sie diese in ihre Bestandteile zerlegt, um na
Amazon führt Alexa für den Einkauf ein und schiebt Rufus in den Hintergrund
Amazon hat Alexa for Shopping eingeführt, indem es den Rufus-Shopping-Chatbot mit Alexa+ in der App, auf der Website und auf Echo Show-Geräten zusammenführt.Der Assistent beantwortet Produktanfragen, vergleicht Artikel, verfolgt Preise und unterstüt
Microsoft, Azure und KI-Technologie bekämpfen die Risiken von Waldbränden in Kalifornien
Microsoft investiert in die KI-gestützte Erkennung von Waldbränden. Juan Lavista Ferres, CVP und Chief Data Scientist, erörtert Strategien zur Eindämmung von Umweltschäden.Laut der NASA betrifft der K
Empfehlungen zu verwandten Spezialthemen
Kommentare (1)
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.

Anthropic hat die Nutzungsrichtlinien für seinen KI-Chatbot Claude aktualisiert, um wachsenden Sicherheitsbedenken Rechnung zu tragen. Neben strengeren Cybersicherheitsregeln nennt das Unternehmen nun ausdrücklich Kategorien gefährlicher Waffen, die nicht mit Claude entwickelt werden dürfen.
In der offiziellen Ankündigung werden die Änderungen an den Waffenrichtlinien zwar nicht ausdrücklich hervorgehoben, ein Vergleich zwischen den alten und den neuen Nutzungsrichtlinien zeigt jedoch eine bedeutende Aktualisierung. Zuvor war es Anthropic weitgehend untersagt, Claude zu verwenden, um "Waffen, Sprengstoffe, gefährliche Materialien oder andere Systeme zu produzieren, zu modifizieren, zu entwerfen, zu vermarkten oder zu vertreiben, die dazu bestimmt sind, Menschen Schaden zuzufügen oder ihr Leben zu zerstören". Die überarbeitete Richtlinie erweitert dies, indem sie speziell die Entwicklung von Sprengstoffen mit hoher Sprengkraft sowie von biologischen, nuklearen, chemischen und radiologischen (CBRN) Waffen verbietet.
Im Mai führte Anthropic zeitgleich mit der Markteinführung seines neuen Modells Claude Opus 4 die Schutzmaßnahmen der "AI-Sicherheitsstufe 3" ein. Diese Sicherheitsvorkehrungen sollen das Modell widerstandsfähiger gegen Jailbreaking machen und verhindern, dass es zur Herstellung von CBRN-Waffen beiträgt.
In seiner Ankündigung erkennt Anthropic auch die Risiken an, die mit agentenbasierten KI-Tools wie Computer Use - das es Claude ermöglicht, den Computer eines Benutzers zu kontrollieren - und Claude Code - das Claude direkt in das Terminal eines Entwicklers integriert - verbunden sind. "Diese mächtigen Fähigkeiten bringen neue Risiken mit sich, einschließlich des Potenzials für skalierten Missbrauch, die Erstellung von Malware und Cyberangriffe", so das Unternehmen.
Siehe
- Anthropic lanciert neuen Claude-Dienst für Militär und Geheimdienste
- Google nimmt sein Versprechen zurück, keine KI-Waffen zu entwickeln
Das KI-Startup geht auf diese potenziellen Bedrohungen ein, indem es einen neuen Abschnitt mit dem Titel "Do Not Compromise Computer or Network Systems" (Computer- oder Netzwerksysteme nicht kompromittieren) in seine Nutzungsrichtlinien aufnimmt. Dieser Abschnitt enthält Regeln gegen die Verwendung von Claude, um Schwachstellen zu entdecken oder auszunutzen, Malware zu erstellen oder zu verbreiten, Tools für Denial-of-Service-Angriffe zu entwickeln und ähnliche Aktivitäten.
Darüber hinaus lockert Anthropic seine Politik in Bezug auf politische Inhalte. Anstatt die Erstellung von Inhalten im Zusammenhang mit politischen Kampagnen und Lobbying zu verbieten, verbietet das Unternehmen nun nur noch die Verwendung von Claude für "Anwendungsfälle, die irreführend oder störend für demokratische Prozesse sind oder die Wähler- und Kampagnenausrichtung beinhalten". Anthropic hat außerdem klargestellt, dass seine Anforderungen für alle "risikoreichen" Anwendungsfälle - die gelten, wenn Claude verwendet wird, um Empfehlungen an Einzelpersonen oder Kunden zu geben - nur für Szenarien relevant sind, die sich an Verbraucher richten, und nicht für die interne geschäftliche Nutzung.
Warner Music übernimmt das KI-Zuschreibungsstart-up Sureel AI
Warner Music Group (WMG) hat am Mittwoch bestätigt, dass es Sureel AI, ein Startup für KI-gestützte Attribution, übernimmt. Die proprietäre Technologie von Sureel generiert „AI-DNA“ für Musikstücke, indem sie diese in ihre Bestandteile zerlegt, um na
Microsoft, Azure und KI-Technologie bekämpfen die Risiken von Waldbränden in Kalifornien
Microsoft investiert in die KI-gestützte Erkennung von Waldbränden. Juan Lavista Ferres, CVP und Chief Data Scientist, erörtert Strategien zur Eindämmung von Umweltschäden.Laut der NASA betrifft der K
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.





Heim






