DeepMinds AGI -Sicherheitspapier beeinflusst Skeptiker nicht

Am Mittwoch veröffentlichte Google DeepMind ein umfangreiches 145-seitiges Papier, das sich intensiv mit ihrem Ansatz zur Sicherheit von AGI beschäftigt. AGI, oder künstliche allgemeine Intelligenz, ist die Art von KI, die jede Aufgabe bewältigen kann, die auch ein Mensch bewältigen kann, und ist ein heißes Thema in der KI-Welt. Manche halten es für pure Fantasie, während andere, wie die führenden Köpfe bei Anthropic, glauben, dass es kurz bevorsteht und ernsthafte Probleme verursachen könnte, wenn wir unsere Sicherheitsmaßnahmen nicht im Griff haben.
Das Papier von DeepMind, verfasst mit Unterstützung des Mitgründers Shane Legg, geht davon aus, dass AGI bis 2030 auftauchen könnte und zu dem führen könnte, was sie als „schweren Schaden“ bezeichnen. Sie spezifizieren es nicht genau, verwenden aber beängstigende Begriffe wie „existenzielle Risiken“, die die Menschheit „dauerhaft zerstören“ könnten.
„Wir setzen darauf, dass wir vor Ende dieses Jahrzehnts eine außergewöhnliche AGI sehen werden“, stellen die Autoren fest. „Eine außergewöhnliche AGI ist ein System, das die Fähigkeiten der besten 1 % der Erwachsenen bei einer Vielzahl nicht-physischer Aufgaben erreichen kann, einschließlich kniffliger Dinge wie dem Erlernen neuer Fähigkeiten.“
Gleich zu Beginn vergleicht das Papier DeepMinds Ansatz zur Bewältigung von AGI-Risiken mit dem von Anthropic und OpenAI. Es heißt, Anthropic setze nicht so stark auf „robuste Schulung, Überwachung und Sicherheit“, während OpenAI darauf fokussiert sei, eine Art von KI-Sicherheitsforschung namens „Alignment-Forschung“ zu „automatisieren“.
Das Papier übt auch Kritik an der Idee einer superintelligenten KI — einer KI, die besser in Berufen ist als jeder Mensch. (OpenAI hat kürzlich erklärt, ihren Fokus von AGI auf Superintelligenz zu verlagern.) Ohne große neue Durchbrüche glauben die Autoren von DeepMind nicht, dass superintelligente Systeme bald kommen — oder vielleicht jemals.
Sie halten es jedoch für möglich, dass unsere aktuellen Methoden zu einer „rekursiven KI-Verbesserung“ führen könnten, bei der KI ihre eigene KI-Forschung betreibt, um noch intelligentere KI-Systeme zu entwickeln. Und das, warnen sie, könnte extrem gefährlich sein.
Insgesamt schlägt das Papier vor, dass wir Wege entwickeln müssen, um böswillige Akteure von AGI fernzuhalten, besser zu verstehen, was KI-Systeme tun, und die Umgebungen, in denen KI operiert, sicherer zu machen. Sie geben zu, dass viele dieser Ideen noch in den Anfängen stecken und „offene Forschungsprobleme“ aufweisen, fordern aber dazu auf, die Sicherheitsfragen, die auf uns zukommen könnten, nicht zu ignorieren.
„AGI könnte erstaunliche Vorteile oder schweren Schaden bringen“, betonen die Autoren. „Um AGI richtig zu entwickeln, ist es entscheidend, dass die führenden KI-Entwickler vorausplanen und diese großen Risiken angehen.“
Nicht jeder teilt die Ideen des Papiers.
Heidy Khlaaf, die leitende KI-Wissenschaftlerin am gemeinnützigen AI Now Institute, sagte gegenüber TechCrunch, sie halte AGI für ein zu vages Konzept, um „wissenschaftlich rigoros bewertet“ zu werden. Ein anderer KI-Forscher, Matthew Guzdial von der University of Alberta, erklärte, er sei nicht überzeugt, dass rekursive KI-Verbesserung derzeit machbar sei.
„Rekursive Verbesserung ist die Grundlage für die Argumente zur Intelligenz-Singularität“, sagte Guzdial gegenüber TechCrunch, „aber wir haben noch nie Beweise dafür gesehen, dass sie tatsächlich funktioniert.“
Sandra Wachter, die Technologie und Regulierung an der Universität Oxford untersucht, weist auf eine dringlichere Sorge hin: KI, die sich selbst mit „ungenauen Ausgaben“ verstärkt.
„Mit immer mehr KI-generierten Inhalten online und echten Daten, die ersetzt werden, lernen Modelle aus ihren eigenen Ausgaben, die voller Ungenauigkeiten oder Halluzinationen sind“, sagte sie gegenüber TechCrunch. „Da Chatbots hauptsächlich zum Suchen und Finden der Wahrheit verwendet werden, besteht immer die Gefahr, dass uns falsche Informationen geliefert werden, die sehr überzeugend präsentiert werden.“
So gründlich es auch ist, das Papier von DeepMind wird wahrscheinlich die Debatten darüber, wie wahrscheinlich AGI wirklich ist — und welche KI-Sicherheitsfragen derzeit am dringendsten Aufmerksamkeit benötigen — nicht beenden.
Verwandter Artikel
AGI wird das menschliche Denken mit einem Durchbruch bei der Universalsprache revolutionieren
Das Aufkommen der künstlichen allgemeinen Intelligenz birgt das Potenzial, die menschliche Kommunikation durch die Schaffung eines universellen Sprachrahmens neu zu gestalten. Im Gegensatz zu eng gefa
OpenAI bekräftigt gemeinnützige Wurzeln in großer Unternehmensumstrukturierung
OpenAI bleibt seiner gemeinnützigen Mission treu, während es eine bedeutende Unternehmensumstrukturierung durchläuft und Wachstum mit dem Engagement für ethische KI-Entwicklung in Einklang bringt.CEO
Google Startet Geräteinterne Gemini AI-Modell für Roboter
Google DeepMind Enthüllt Gemini Robotics On-Device für Offline-RobotersteuerungGoogle DeepMind hat gerade ein aufregendes Update im Bereich Robotik veröffentlicht—Gemini Robotics On-Device, ein neues
Kommentare (50)
0/200
JimmyGarcia
26. September 2025 08:30:34 MESZ
Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?
0
DouglasMitchell
4. September 2025 08:30:32 MESZ
Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?
0
DanielPerez
28. August 2025 01:01:33 MESZ
This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔
0
CarlPerez
11. August 2025 01:01:00 MESZ
This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!
0
ArthurYoung
9. August 2025 13:00:59 MESZ
DeepMind's 145-page AGI safety paper sounds like a beast! I’m curious if it’s more hype than substance—anyone read it yet? 🤔
0
GregoryRodriguez
22. April 2025 17:58:08 MESZ
DeepMind's AGI safety paper? Honestly, it didn't convince me at all 🤔. 145 pages and I'm still skeptical. AGI sounds like sci-fi to me, but hey, if they can make it safe, I'm all for it! Maybe next time they'll have something more solid.
0
Am Mittwoch veröffentlichte Google DeepMind ein umfangreiches 145-seitiges Papier, das sich intensiv mit ihrem Ansatz zur Sicherheit von AGI beschäftigt. AGI, oder künstliche allgemeine Intelligenz, ist die Art von KI, die jede Aufgabe bewältigen kann, die auch ein Mensch bewältigen kann, und ist ein heißes Thema in der KI-Welt. Manche halten es für pure Fantasie, während andere, wie die führenden Köpfe bei Anthropic, glauben, dass es kurz bevorsteht und ernsthafte Probleme verursachen könnte, wenn wir unsere Sicherheitsmaßnahmen nicht im Griff haben.
Das Papier von DeepMind, verfasst mit Unterstützung des Mitgründers Shane Legg, geht davon aus, dass AGI bis 2030 auftauchen könnte und zu dem führen könnte, was sie als „schweren Schaden“ bezeichnen. Sie spezifizieren es nicht genau, verwenden aber beängstigende Begriffe wie „existenzielle Risiken“, die die Menschheit „dauerhaft zerstören“ könnten.
„Wir setzen darauf, dass wir vor Ende dieses Jahrzehnts eine außergewöhnliche AGI sehen werden“, stellen die Autoren fest. „Eine außergewöhnliche AGI ist ein System, das die Fähigkeiten der besten 1 % der Erwachsenen bei einer Vielzahl nicht-physischer Aufgaben erreichen kann, einschließlich kniffliger Dinge wie dem Erlernen neuer Fähigkeiten.“
Gleich zu Beginn vergleicht das Papier DeepMinds Ansatz zur Bewältigung von AGI-Risiken mit dem von Anthropic und OpenAI. Es heißt, Anthropic setze nicht so stark auf „robuste Schulung, Überwachung und Sicherheit“, während OpenAI darauf fokussiert sei, eine Art von KI-Sicherheitsforschung namens „Alignment-Forschung“ zu „automatisieren“.
Das Papier übt auch Kritik an der Idee einer superintelligenten KI — einer KI, die besser in Berufen ist als jeder Mensch. (OpenAI hat kürzlich erklärt, ihren Fokus von AGI auf Superintelligenz zu verlagern.) Ohne große neue Durchbrüche glauben die Autoren von DeepMind nicht, dass superintelligente Systeme bald kommen — oder vielleicht jemals.
Sie halten es jedoch für möglich, dass unsere aktuellen Methoden zu einer „rekursiven KI-Verbesserung“ führen könnten, bei der KI ihre eigene KI-Forschung betreibt, um noch intelligentere KI-Systeme zu entwickeln. Und das, warnen sie, könnte extrem gefährlich sein.
Insgesamt schlägt das Papier vor, dass wir Wege entwickeln müssen, um böswillige Akteure von AGI fernzuhalten, besser zu verstehen, was KI-Systeme tun, und die Umgebungen, in denen KI operiert, sicherer zu machen. Sie geben zu, dass viele dieser Ideen noch in den Anfängen stecken und „offene Forschungsprobleme“ aufweisen, fordern aber dazu auf, die Sicherheitsfragen, die auf uns zukommen könnten, nicht zu ignorieren.
„AGI könnte erstaunliche Vorteile oder schweren Schaden bringen“, betonen die Autoren. „Um AGI richtig zu entwickeln, ist es entscheidend, dass die führenden KI-Entwickler vorausplanen und diese großen Risiken angehen.“
Nicht jeder teilt die Ideen des Papiers.
Heidy Khlaaf, die leitende KI-Wissenschaftlerin am gemeinnützigen AI Now Institute, sagte gegenüber TechCrunch, sie halte AGI für ein zu vages Konzept, um „wissenschaftlich rigoros bewertet“ zu werden. Ein anderer KI-Forscher, Matthew Guzdial von der University of Alberta, erklärte, er sei nicht überzeugt, dass rekursive KI-Verbesserung derzeit machbar sei.
„Rekursive Verbesserung ist die Grundlage für die Argumente zur Intelligenz-Singularität“, sagte Guzdial gegenüber TechCrunch, „aber wir haben noch nie Beweise dafür gesehen, dass sie tatsächlich funktioniert.“
Sandra Wachter, die Technologie und Regulierung an der Universität Oxford untersucht, weist auf eine dringlichere Sorge hin: KI, die sich selbst mit „ungenauen Ausgaben“ verstärkt.
„Mit immer mehr KI-generierten Inhalten online und echten Daten, die ersetzt werden, lernen Modelle aus ihren eigenen Ausgaben, die voller Ungenauigkeiten oder Halluzinationen sind“, sagte sie gegenüber TechCrunch. „Da Chatbots hauptsächlich zum Suchen und Finden der Wahrheit verwendet werden, besteht immer die Gefahr, dass uns falsche Informationen geliefert werden, die sehr überzeugend präsentiert werden.“
So gründlich es auch ist, das Papier von DeepMind wird wahrscheinlich die Debatten darüber, wie wahrscheinlich AGI wirklich ist — und welche KI-Sicherheitsfragen derzeit am dringendsten Aufmerksamkeit benötigen — nicht beenden.


Mais um artigo gigante sobre segurança de AGI... Será que alguém realmente lê essas 145 páginas? 🤨 Parece que o DeepMind tá mais preocupado em mostrar volume do que convencer os críticos. Cadê os resultados práticos?




Este artículo sobre seguridad en AGI es interesante, pero me pregunto si realmente podemos confiar en las grandes empresas tecnológicas para autorregularse. 🤨 DeepMind habla de seguridad, pero al final todo se reduce a ganancias y competencia. ¿Será solo otro documento para calmar a los reguladores?




This paper's a beast, but I'm not sold on DeepMind's AGI safety promises. Feels like they're hyping it up without tackling the real ethical mess. Anyone else think it's just fancy PR? 🤔




This DeepMind paper sounds like a big swing at tackling AGI safety, but 145 pages and skeptics still aren't convinced? 🤔 Maybe they’re onto something, or maybe it’s just too early to trust any AI to be 'safe' when it’s smarter than us!




DeepMind's 145-page AGI safety paper sounds like a beast! I’m curious if it’s more hype than substance—anyone read it yet? 🤔




DeepMind's AGI safety paper? Honestly, it didn't convince me at all 🤔. 145 pages and I'm still skeptical. AGI sounds like sci-fi to me, but hey, if they can make it safe, I'm all for it! Maybe next time they'll have something more solid.












